python 爬虫 亚航 指定日期间的航线

本文讲述了作者在找工作时遇到的一个爬虫项目挑战,即爬取airasia.com上的指定日期航班信息。使用Python的Scrapy框架,在Mac系统上配合Charles抓包工具,通过动态代理和轮换请求头来应对反爬措施。目标是获取航班详情,如航班时间、地点、舱位类型和转机信息等。
摘要由CSDN通过智能技术生成

前两天在BOSS上找爬虫工作,投了N份简历,很少有回复的,唯一能看到点希望的是一家旅游公司,BOSS上回复说:要求做一些航空公司的爬虫,做好之后把思路和一些数据发过去,再谈后续的面试问题。

发过来两个爬虫项目,说如果面试通过,会根据所选的爬虫项目进行工资定级,我选了这个据说是难度更大一些的:airasia.com。

花了两天时间,搞定了这个爬虫,按要求把采集到的一部分数据和爬虫思路发送过去,结果是无人回复,我觉得,这份面试的机会,也这样悄悄的,被别人拥有了吧~

也可能是我的简历太水,做过的一些爬虫项目什么的,懒的往网上发,也不喜欢总结,结果找工作的时候没有可拿的出手的东西,年纪也快30了,两三年的爬虫工作经历又没有优势,拿什么和人家争。

以后养成好习惯吧,把做过的东西整理好,作为以后个人的资历。

# ----- 正题 -----

目的:采集指定日期内的所有航班的信息

语言:Python

框架:Scrapy

系统:Mac

抓包:Charles

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值