python爬虫小项目--飞常准航班信息爬取variflight（上）

很久不更新博客，分享下最近一个小项目 飞常准 。飞常准是飞友科技旗下一个航班信息数据网络品牌。主要为用户提供航空相关数据。目前核心业务为航班动态和便宜机票搜索引擎。飞友科技旗下总有飞友网、飞常准、VariFlight、AirTu等品牌。

废话不多说，开始搞事情。

分析页面，首页有航班号和升降地有列表，要怎么下手呢？等下，怎么数据这么少。

 

哈哈。找到列表入口url

 

上代码请求看有没有数据，个人喜好，也可以在浏览器network和其他工具看。

漂亮！

踩坑了，有的城市没有航班，还加入起降列表中，体验非常不好，都没有为我们爬虫的考虑下，正想着拿起电话打4006-350-787给官网反馈这BUG！

嗯嗯，想下毕竟俺也是有修养的程序员，经过两个小时的发呆，终于把情绪控制住了。继续看看。

突然想起xpath插件，我真是太有材了，按捺不住心中的喜悦，忍不住，来music 蹦了个迪。一个小时又过去。

顿时，领导过来，又被狂虐一把，呜呜呜

continue

挖去，实际起飞时间，实际到达时间，准点率，怎么是个连接。

居然和去哪网一样使用了的字体反爬变身术。

不慌稳住，作为黑寡妇称号的spider工程师，这些淫虫小鸡，噢，不，应该是雕虫小技，还想拦住我。

使用OCR即可（目前最好的开源谷歌图像识别工具），字体还这么工整，还不用收集标本训练呢。爽歪歪。

自己以为的，永远都是自己以为的。

打开图片的连接

顿时  飞友的前端反爬工程师肯定是上昂着圆润嘴角裸露丝丝微笑

继续发呆，狂抓脑袋数小时，抓掉998跟头发的时候，突然让我想起试下手机wap版，点开chrome toggle device toolbar

居然是wap版本就是电脑的缩小版

使用手机APP抓包大法。

平时只用电脑的挨踢程序员没有手机这可怎么办？

工欲善其事，必先利其器于是，花几天写个插件抢了两台小米手机手机。

等着手机开工的啊，再爬不出数据就要被老板当鱿鱼样炒了。

问了那位平时和他聊得比较多，且经常对我眉来眼去的同性同事借了台手机。

挖去，手机壁纸居然是偷拍我背影的图片，这手机透露着巨大信息量！！！

顿时看了看他，他给我抛了个媚眼

还是安装个SDK安卓虚拟机算了

配好环境，调试浏览器能抓到数据。

居然什么数据都没有，一直翻页都没有任何数据

就爬那么一点点数据这么保密干嘛！

 

欲知后事如何，且听下回分解

 

后续还会上代码和和分析！

更新中！更新中！更新中！