m0_54454944的博客

原创 基于selenium爬取去哪儿酒店信息

去哪儿网站中，要爬取旅游的酒店信息，我们用通常的requests库进行爬取的时候发现，当我们要翻页的时候网址未出现变化，返回的网页源码信息始终只有第一页的内容，那么有没有一种方式可以使得能够翻页爬取呢？爬取酒店信息的重难点主要在于模拟的登录的过程，需要注意的坑是每次我们翻页的时候要下拉下滑网页，等待网页加载，加载完毕之后才能获取网页信息，再来就是网页信息的清洗，这里值得注意的是可能存在标签错位的情况，这里我们就要特殊情况，特殊处理。我们首先需要确定我们浏览器的版本，这里我使用的是谷歌浏览器。