Pyhton携程上酒店每个房型价钱详细的爬虫

本文介绍了一个使用Python编写的携程酒店价格爬虫的实现过程,从分析城市编码到获取分页数据,再到解析酒店详情和动态加载内容。通过F12网络请求跟踪,提取关键JSON数据,成功获取酒店及房型价格信息。虽然在数据量大和反爬机制下存在挑战,但已将数据持久化存储到数据库中,完整代码将在GitHub分享。
摘要由CSDN通过智能技术生成

最近由于工作需要,做了一个携程酒店的爬虫,初步达到了一些成果。
由于python是半路出家(之前笔者是学习java的,并且现在也一直在学习。),在把项目分
享出来看能否给网友们一些帮助的同时,也希望有大佬帮我改进改进。
废话说的过多,直接上货。


大致流程
感觉爬虫和侦探进行破案有点类似,一点一点线索抽茧剥丝

  • 首先看按照地市搜索的url
    https://hotels.ctrip.com/hotel/hangzhou17#ctm_ref=hod_hp_sb_lst
    分析可得会地市不一样的话只是在上述链接中 hangzhouo17 部分发生改变,杭州倒是看得懂,不过后面的17是什么鬼,F12看请求,发现了这一个 地市信息的json
    这里就有地市字母和数字的联系,但是仍然不知道对应关系是啥,知其然不知其所以然,那不管了,拿到再说。

  • 分析分页的url
    查看network页面,可以看到在HeaderForm Data里带有请求参数,而且这是一个POST请求&#
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值