对于平时出行大多数人都是选择坐高铁,当然了如果这是对于距离比较近的行程是最划算的,如果对于路途长远的人言,提前购买飞机票价格可能比高铁票更加的便宜,如果我们可以爬取机票数据并分析它什么时候折扣最低,这样是不是出行更方便,更划算呢?
基本环境配置
版本:Python3
系统:Windows
相关模块:
打开携程网,查询机票,如广州到成都。
CAN 表示广州,CTU 表示成都,日期 “2018-06-15”就比较明显了。一般的爬虫,只有替换这几个值,就可以遍历了。但观察发现,有链接可以看到当前网页的所有json格式的数据。
同样可以看到城市和日期,该连接打开的是 json 文件,里面存储的就是当前页面的数据。显示如下,其中 “fis” 则是航班信息。
每一次爬取只要替换城市代码和日期即可,城市代码自己手动整理了一份:
为了防止频繁请求出现 429,UserAgent 也找多一些让其随机取值。但是有时候太频繁则需要输入验证码,所以还是每爬取一个出发城市,暂停10秒