![f189b1e01fb8dc48f1f952476e8e5170.png](https://i-blog.csdnimg.cn/blog_migrate/2777d28ab405293f054d53e0e6101255.jpeg)
去哪儿是中国领先的在线OTA网站,为消费者提供机票、酒店、会场 、度假产品的实时搜索,并提供旅游产品团购以及其他旅游信息服务。去哪儿网站上有丰富的图片、评论数据,这些大量的数据对于从事数据岗位的来说的确是一种福利,有了这些我们可以练习爬虫技能、数据分析与可视化,漂亮的图片做文案素材也是一种不错的选择。
疫情总会过去的,宅了这么久,相信很多人疫情后都会来一场说走就走的旅行。小编今天准备爬取去哪儿的攻略库,并制作了一份详细的数据分析、可视化的旅行攻略。
![43c0e98524cb156c441a8d06d95ba400.png](https://i-blog.csdnimg.cn/blog_migrate/a23a974a68f55955f097086e229e3d0c.jpeg)
网页分析
爬虫流程三步曲:
- 打开网站,分析网页上的数据;
- 通过F12开发者工具,获取接口是数据是html还是json,翻页是url控制还是ajax;
- 编写代码发起网络请求,添加反爬机制、容错环节;
![d8219055a91636b92816f8a3615aff11.png](https://i-blog.csdnimg.cn/blog_migrate/ef0193764caf84bdb75e52749d90f661.jpeg)
通过对网页的分析,我们有几个点是确定的:
- 不同城市的网址不同,我们需要收集爬取城市的网址;
- 数据在html中可以获取,我们对html进行解析;
- 对于html的网页,我们需要边爬取保存数据;
- 每个城市可以爬取200页,有些城市数据不足200页
数据获取
1.确定爬取字段
![42dc8a48eacc0a064ace0f16f9b9cd35.png](https://i-blog.csdnimg.cn/blog_migrate/066d3d1b7e6dbbc03895bb282405abe3.jpeg)
爬取数据的字段有:区域、目的地、标题、链接、攻略作者、出发日期、天数、照片数、人数、玩法、费用、阅读数、点赞数、评论数、行程等。
2.获取最大页数