世界那么大,谁不想去看看

68d74250182c74b0f7a6a98c73dc73e6.png

👧室友:Yura,这周我双休,要不要去哪里玩儿?

💻我:杭州都玩遍啦,去别的城市看看?

👧室友:好哇~我想去莫干山,或者绍兴名人故居,西塘乌镇也不错~哦!好想去南京吃鸭血粉丝汤!如果还能去武汉吃周黑鸭,成都吃串串,重庆吃火锅就更好了!(陷入幻想)

💻我:……这么远,路费够我们一周生活费了!

……空气突然安静……

💻我:简单粗暴,挑个火车票最便宜的地方去!

室友马上拿出手机查👉

  • 杭州到湖州……嗯……34元……

  • 杭州到绍兴…嗯…26元……

  • 杭州到……

💻我:你这一个一个查效率太低了吧,等会儿,让我拿出我的神器!

cc01597f073b03875a38e36652f5d309.jpeg

哦,不对,是这个👇

626d43c5c5c495506aa23eb2b128d8ed.jpeg 

💻我(信誓旦旦状):等我爬下携程所有票价信息,以后给我一个预算,我就能跟你说你去到哪儿!

d94a208453a3af35e6146cacd135ad2a.png

 作为刚工作不久,收入约等于支出的月光族,没时间“读万卷书”,更没钱“行万里路”。别人出去旅游,澳洲美洲新马泰,而我们只能看看我们的余额宝,扣扣索索地找就近的地方,毕竟火车票便宜~

7ac410181168f23c90e309d4e9383fc1.png

那么传统的查询方式——根据出发点&目的地查票价——对我们来说效率太低。理想方式当然是:输入出预算金额,就得到一个在预算范围内的所有目的地列表!

373abdef27276e774eeeddc735c287bb.jpeg

c43e7058040519ef250ac6d9db66a066.png

首先,我们当然要爬取从自身所在地到全国所有火车站点的🚄车次信息。

打开携程网页,选择火车:

c79c7cdf1275a876bb5feff1efb85fa5.jpeg

我们需要输入出发城市、到达城市,出发时间默认为当天,需要修改成第二天及以后,以防由于0点至当前时间点的车次不显示,导致爬取信息不全。

我在杭州,就以杭州东站为出发点,搜索上海为例吧。

89e471792989ea77d089a2e30697a80e.png

结果如图所示:

eac36d4b48648b840bd389e6561b3ba3.jpegCtrl+F,搜索票价24.5试试,很容易就找到了车次的信息页面 (https://trains.ctrip.com/TrainBooking/Ajax/SearchListHandler.ashx?Action=getSearchList):

c98d36b40c47ecf3360232752d43acf3.jpeg

我们的目标是输入预算,然后得到能够到达的目的地信息,所以车次信息中最关键词的字段就是价格。

但是不同的火车类型(火车/动车/高铁)和不同的座位类型(商务座/一等座/二等座……)的价格都是不一样的。因此我们需要将不同火车类型和座位位置的信息都爬下来!

综上,我们需要的字段一共有:到达城市,时间(可有可无),火车类型,座位类型和票价。

e6a6e349eb50845bbc359aad0663cc1c.png

孤陋寡闻的我只乘过高铁和动车,以前只知道分商务座、一等座和二等座,现在爬了数据才发现:动车不仅有动卧,而且还有高级动卧!

0965a8fd179919bfa4132b09b03d079e.jpeg

(感觉很舒服的亚子)

火车类型也不仅仅是高铁、动车和“绿皮火车”。印象中“绿皮火车”是属于那种便宜但是慢一点的火车统称,实际上可以细分为Z、T和K。所以此次爬虫一共爬取了5种类型的车次:

605a540b4184069fbd996a5ffc5d3142.png

a57b4cfa2a154b1a62a5f0888144d018.png

爬虫的过程不难,设置一下请求头,还是比较容易拿下的。需要注意的是这次用的是POST方法:

1bf9835a4bf2df721c6be3828004ac97.jpeg

与GET方法最大的区别就是需要事先传入一些参数。拉到最下面,可以看到这一串信息。

21143c21c71201593760c8f76059e605.jpeg

解读一下,发现包括一些筛选条件、出发地信息、目的地信息和出发时间。按我的(并不多的)经验,一般情况下,不管三七二十一,全部传进去就完事儿了!

f1eb15a9ad9bd8efc7d694e80f9715cc.jpeg

这是我以杭州东站为出发点,上海为目的地,得到的所有班次信息:

f83ac660e2d194999ec5672d81e417a3.jpeg

最贵的是动车高级动卧(320元),最便宜的是火车硬座(24.5元),果然穷人有穷人的坐法,富人有富人的捷径,一切只是💰的区别罢辽!

2391c65f4b979f836124809019fec499.jpeg

2309729d7df65313b1b51efac510263f.png 一条路线都爬下来了,全国路线还远吗?

批量爬取信息的时候,最关键就是找到网址参数之间的区别。不过这次由于是post方法获取信息,变化的值在传入的参数中,网址本身并没有变化。经过筛筛改改测试,发现最关键的信息在于DepartureCity(拼音形式)和ArrivalCity(拼音形式)。DepartureDate(出发日期)也是一个必要参数,但是不用经常改,随便设置一个一天以后的日子就行了,我将其设置成了2019年11月11日,别问为什么,任性。

那么出发城市和到达城市怎么设置呢,我们不能每次都手动输入吧,而且我们熟知的城市肯定有限,那咋办?只能再爬一下城市信息咯。

7ad6c5b9fcc4433c3a8c01ec8b3001a8.jpeg

输入框里面就有所有的城市地名信息,秉着“可见一定可爬”的信念,我找到了城市信息的网页 👉(https://webresource.ctrip.com/ResTrainOnline/R1/TrainBooking/JS/hotline.min.js?2019_10_16_10_51_39.js):

33c5745ebf0fac4163bc33c69d2c2e66.jpeg

源码信息是这样的:

6fdd8d88254dad56dc9c9d23c6f143e2.jpeg

直接按照“|”进行分割即可:a=r.text.split('|'),得到的excel文件如下,一般是一个中文地址对应一个拼音形式:

f12a12c05d75024ea8748b50faa48ce7.jpeg

直接排序显示,筛选出拼音的内容即可。

部分城市对应着两个拼音,比如“杭州东”对应有两串拼音:“hangzhoudong”和“hzd@hangzhou”,我不清楚里面的逻辑。但是我们只要获得城市的名字即可,因此我也删去了包含“@”关键词的拼音部分。

最后得到如下:

a1bb02d0f8f05de4fc9baab42434aebc.jpeg

一共有2804个城市!

接下来就是批量爬取了,文明爬虫,从我做起,每次更换城市的时候记得休息一会儿哦👇

81a51e266b703f9623378a7d5b39771b.png

为了减少爬虫的频次,我暂时只爬取了杭州去往全国各个地方的票价信息。大家如果需要的话也可以爬取全国任意两个城市的票价信息,按需索取哈~

最后得到了3397条信息,原来杭州出发可直达637个城市!

53eca1412b68eab0416520c55af2e52c.png 

d4ba7301cd69ae9243d7eeaadc4f54b3.png

爬到了基础信息之后,我稍微设计一下交互的代码了~没什么经验,就只简单设计了几个选项。大家下载源码,爬取数据之后可直接输入条件,然后就能得到目的地列表啦。

77be1026f80df84e0c2c7d3ba6247ece.jpeg

Ps:我不会告诉大家Excel的“筛选”工具其实更加简单粗暴!

7c512060ed1d4862f18fc4f8335270f5.jpeg

0ad6774beded7c29d4175273f8775784.jpeg

不完美的代码👉

https://github.com/PengYura/CtripForTravel

6e6e459bc8553d018dfcf6214bfadcff.png

钱是要赚的~

但是旅游也是万万不可少的!

囊中羞涩的时候,用用Yura的小神器

毕竟

经济基础决定上层建筑,旅游预算决定能走多远~

世界那么大,谁不想出去看看呀? 

60fc074dd26da24a19b2d7111f63024a.jpeg

6590c6b43871431921b9f6beb8bbd038.png

生活不易,必须多才多艺。

数据很多,Yura分析跟你说。

不定期更新数据分析小文章

请大家多多关注多多点赞多多转发:)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值