爬取去哪儿网旅游数据并且保存为csv文件

参考用Python分析元旦旅游热门城市，告诉你哪些景点性价比更高‘’一文，我们可以到去哪儿网站上爬取某个城市，比如厦门的旅游数据，并且在此基础上进行数据分析。下面简单总结一下爬取的过程。

一、获取json数据的url

我们开发者工具(快捷键ctrl+shift+I)可以进入上图界面，点击Network之后再搜索框当中输入json，我们就可以看到json数据的url，并且总结出url的格式如下：

url = f'http://piao.qunar.com/ticket/list.json?keyword={keyword}&region=&from=mpl_search_suggest&page={page}'

这里面有一个siteList的列表，里面包含我们需要的旅游景点的信息：

这样，我们就可以根据这个url的结构编写python程序进行网络爬虫了。

二、python爬虫程序

我们需要使用fake_useragent中的用户代理来随机伪装，然后通过request方法对以上的url进行请求，返回得到模拟点击的json数据之后进行解析，我这里采用的手动解析的方法，可以研究一下是否有更方便的解析函数可以一步到位。
最后我们得到的是一个字典列表，即sightList,通过csv.DictWrite工具，我们可以把这个列表写入到csv文件中，注意这个工具有一个filedname的参数列表，表示我这个csv表格的表头有哪一些，这些表头参数，我通过一个全局变量key_set和diclst在过程中进行搜集了。

import requests
import random
from time import sleep
import csv
import pandas as pd
from fake_useragent import UserAgent
import pinyin
key_set = set()
diclst = []