Python爬虫爬取酒店评价（携程）

最新推荐文章于 2024-08-08 07:36:59 发布

function vodmort()

最新推荐文章于 2024-08-08 07:36:59 发布

阅读量9.2k

点赞数 13

本文链接：https://blog.csdn.net/qq_34774456/article/details/89885296

版权

本文讲述了使用Python爬虫抓取携程酒店评价时遇到的反爬虫策略，尤其是动态加载数据的问题。作者通过分析手机端页面找到了新的入口，并揭示了如何识别和利用POST请求参数（pageIndex, pageSize）来获取完整评论数据，成功规避了携程的反爬机制。" 103518387,8677676,理解JSP的EL表达式：使用与操作,"['Java', 'Web开发', 'JSP']

摘要由CSDN通过智能技术生成

Python爬虫爬取携程酒店评价

审查携程酒店评价页面

最经有个需求是爬携程上某酒店的用户评价，在审查评论界面后发现了以下请求，贴一下：

https://hotels.ctrip.com/Domestic/tool/AjaxHotelCommentList.aspx?
MasterHotelID=5209137&hotel=5209137&NewOpenCount=0&AutoExpiredCount=0&RecordCount=1697&
OpenDate=&card=-1&property=-1&userType=-1&productcode=&keyword=&roomName=&orderBy=2&
currentPage=2&viewVersion=c&contyped=0&
eleven=5c8db5e27d24f88e0113e8d0b3632dc2d49900f13f4acd4acda67302282a601b&
callback=CASDmoihBhHGlfxap&_=1557127661607

其中MasterHotelID 、 hotel 就是要查找的酒店id了这个不难获取是在不行看一下超链接的url里就有这个id。
当时点了几个下一页之后发现currentPage 就是控制显示第几页的这么一个参数，好开心。
然后尝试修改该参数…

你们能想象在更改了currentPage 后什么都没发生面对空白界面时候的那种无力感吧。
无奈之中发现eleven这个参数有点奇怪，稍微查了一下就知道这个东西不简单

对于爬虫小白的我来说，面