项目:艺龙国内机票实时数据爬虫

2019独角兽企业重金招聘Python工程师标准>>>

使用模块：requests（请求模块），js2py（js执行模块），json（解析json），xpath（解析网页）。

项目流程：

• 分析网站数据来源。
• 编写爬虫脚本。
• 验证数据准确性。
• js逆向破解参数生成。 
• 更换请求参数城市（飞机起飞城市和落地城市或日期）测试结果是否正常。

1.分析网站数据来源

 进入艺龙机票列表搜索页，附上链接http://flight.elong.com/flightsearch/list?departCity=bjs&arriveCity=sha&departdate=2018-12-24,链接参数日期自行更改。

一般情况数据为调用接口获得，或是在页面中嵌入，这里很明显是调用了接口。

F12打开开发者工具（谷歌浏览器），选择network中的xhr，然后刷新页面或重新搜索，查看调用的接口。（这一步也可以使用抓包工具，推荐使用Fiddler，网上有许多汉化版的，看个人习惯吧。）

 

调用了四个接口，点击接口查看返回结果，确定数据来源。

看到出发机场，航空公司名称之类的英文，ok，就是这个了，点击进入Headers。

 

 数据来源已经确定，下面我们来构造爬虫请求接口。

2.编写爬虫脚本

快速上手requests模块,链接已备好　　http://docs.python-requests.org/zh_CN/latest/user/quickstart.html

直接上代码（提示：代码中的请求参数grabcode的值需要自己抓取，有时效性，过期无返回结果导致代码报错）：