最近由于工作需要,做了一个携程酒店的爬虫,初步达到了一些成果。
由于python是半路出家(之前笔者是学习java的,并且现在也一直在学习。),在把项目分
享出来看能否给网友们一些帮助的同时,也希望有大佬帮我改进改进。
废话说的过多,直接上货。
感觉爬虫和侦探进行破案有点类似,一点一点线索抽茧剥丝
- 首先看按照地市搜索的url
https://hotels.ctrip.com/hotel/hangzhou17#ctm_ref=hod_hp_sb_lst
分析可得会地市不一样的话只是在上述链接中 hangzhouo17 部分发生改变,杭州倒是看得懂,不过后面的17是什么鬼,F12看请求,发现了这一个
这里就有地市字母和数字的联系,但是仍然不知道对应关系是啥,知其然不知其所以然,那不管了,拿到再说。
- 分析分页的url
查看network页面,可以看到在Header的Form Data里带有请求参数,而且这是一个POST请求&#