爬虫进阶之去哪儿酒店(国内外)

之前发了一篇爬取去哪儿自由行(可采集最少10万条数据)的文章后，有一个读者在后台问到我怎么爬取去哪儿酒店的数据。当时简单看了下,觉得难度不大。就跟他讲了下思路。因为当时爬取自由行的网站选取的是移动端。为了能让读者学习到更多的知识，我们今天选取了去哪儿的电脑端来进行爬取。其实爬虫的思路都是一样的，无非就是先获取网页信息，然后再解析。解析之后就提取所要的数据。如果要对数据要进一步的分析的话。还需要对数据进行清洗，建模等一系列操作。今天作者给大家带来的就是去哪儿酒店酒店信息的获取，并进行数据清洗，分析。

1. 准备工作

本篇案例主要涉及到的Python的库有Selenium，pymongo库，以及解析库pyquery。清洗库pandas库和matplotlib库，并且安装好了Chrome浏览器和配置好了ChromeDriver。

2. 页面分析

首先访问去哪儿网址:"https://www.qunar.com/"，然后选择酒店这一栏。我们可以看到目前的链接为:"http://hotel.qunar.com/"。这个就是我们要访问的域名。如下图所示。

我们点击页面的目的地输入城市，然后点击搜索即可出现酒店列表，即我们可以用Selenium来控制浏览器输入城市名，然后点击。我们进入到酒店页面。如下图所示。

如果有更多的业务需求，我们可以选择菜单上的酒店类型,实现思路一样。在此我们默认为"酒店搜索"这一栏。并且选择按评分来筛选酒店。我们随机选择一个酒店名，右击打开开发者工具。如下图所示。

经过分析可知每个酒店的内容是在id为"jxContentPanel"中，并且在其下class为"b_result_box js_list_block"中可以看到每个酒店的详细信息。如下图所示。

我们就可以pyquery解析库来解析网页获取我们所需要的信息了,至此网页的解析已经完成。下面我们用代码来实现整个抓取的过程。

3. 实战演练

3.1 获取目的地城市列表

这里我们可以使用我们之前抓取自由行数据时抓取到的目的地城市列表，实现如下：

3.2 获取去哪儿页面详情页

我们已经有目的地城市列表了，所以在在访问去哪儿网址时，只用输入所获得的城市就可以进行搜索了。然后就可以获取酒店页面了。 并且要获得多个页面的酒店。所以也要实现翻页的方法。实现如下：

3.3解析酒店列表

我们已经获得了酒店列表页面信息，接下来用解析库pyquery进行解析，就可以获取我们想要的数据了。实现如下:

3.4保存到数据库和csv文件

3.5运行代码

3.6结果查看

MongoDB数据库结果:

CSV文件：

3.7数据清洗

利用pandas库进行数据清洗,实现如下:

结果如下 ：

3.8 项目代码

https://github.com/NGUWQ/Python3Spider/tree/master/dataanalysis

4. 结语

此项目主要功能是爬取去哪儿酒店，如果你要爬取去哪儿的其它业务，可以把在此基础扩展为去哪儿网的全站爬取，思路也是一样。

对爬虫，数据分析，算法感兴趣的朋友们，可以加微信公众号 TWcoding，我们一起玩转Python。

If it works for you.Please,star.

自助者,天助之

转载于:https://juejin.im/post/5b7b6a1fe51d4538d5175073