本文介绍了一位商业数据分析师如何使用Python构建网络爬虫，自动搜索最便宜的航班。通过针对特定目的地和灵活日期范围进行搜索，爬虫将结果保存到Excel并发送电子邮件，帮助用户找到最佳价格。作者分享了选择Kayak作为抓取平台的原因，并提供了项目的基本结构和使用的技术，包括Selenium和XPath。此外，他还讨论了网络抓取的礼仪以及应对验证码的方法，鼓励初学者了解并实践网络爬虫。
大数文摘出品
编译：高延、M.Y.Love、胡笳、蒋宝尚
“你喜欢旅游吗？”
这个简单的问题经常会得到一个积极的回复甚至还会额外收到一个或两个冒险的故事。通常来讲，旅行是一种体验新文化和拓宽自己视野的好方法。
但如果把问题换成“你喜欢查机票的过程吗？”，我敢肯定大家的反应一定会不那么热情......
那么，用Python解决你的难点吧！本文作者Fábio Neves，一位资深的商业数据分析师将会带你建立一个网络爬虫项目，帮助我们找到最优惠的价格！
具体做法是对特定目的地以及灵活的日期范围（根据你选择的日期前后最多3天）进行航班价格搜索。
搜索结果保存到一个excel中并为你发送一封展示快速统计信息的电子邮件。显然，最终的目的是帮助我们找到最优惠的价格！
如果你真的想试试，你可以在服务器上执行这个脚本（一个简单的Raspberry Pi就可以（注：Raspberry Pi树莓派又称卡片式电脑，外形只有信用卡大小，运算性能和智能手机相仿。So大家在自己笔记本电脑上折腾就足够了。。）），并且每天运行一次或两次。它会将检索结果以邮件的形式发给你，我建议将excel文件保存到Dropbox云端，这样你就可以随时随地访问它。
注：Dropbox是一个类似于百度云的云端服务
我还是没找到任何错误低价票，但我想还是有可能的！
它会根据“弹性日期范围”进行检索，以便查找你首选日期的前后最多3天的所有航班。尽管该脚本一次只适用于一组from/to目的地，但你可以轻松地调整它在每个循环内运行多组行程目的地。你甚至可能最终找到一些错误低价票......简直棒极了！
爬虫脚本
当我第一次开始做网络爬虫时，我对这块并不特别感兴趣。我本想用预测建模，财务分析和一些情绪分析来做更多的项目，但事实证明，弄明白如何构建第一个网络爬虫是很有趣的。随着我不断学习，我意识到网络抓取是互联网运转的精髓。
是的......就像Larry 和 Sergey一样，在启动爬虫程序后去尽情享受按摩浴缸吧！
你可能认为这是一个非常大胆的想法，但如果我告诉你谷歌就诞生于Larry 和 Sergey通过Java
最低0.47元/天 解锁文章
258
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
