用python爬取去哪儿游记攻略为十月假期做准备。。。爬虫之路，永无止境！_去哪儿 游记爬虫

文末有福利领取哦~

👉一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉二、Python必备开发工具

👉三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉 四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）

👉五、Python练习题

检查学习结果。

👉六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

开发工具：
pycharm
库：
tkinter、re、os、lxml、threading、xlwt、xlrd

1.首先先将全国所有的城市名称和id拿到

2.右击检查，进行抓包，找到数据所在的包

3.发送请求，获取响应，解析响应

# 发送请求，获取响应，解析响应
        response = session.get(self.start_url, headers=self.headers).html
        # 提取所有目的地(城市)的url
        city_url_list = response.xpath(
            '//\*[@id="js\_destination\_recommend"]/div[2]/div[1]/div[2]/dl/dd/div/ul/li/a/@href')
        city_id_list = [''.join(re.findall(r'-cs(.\*?)-', i)) for i in city_url_list]
        # 提取所有的城市名称
        city_name_list = response.xpath(
            '//\*[@id="js\_destination\_recommend"]/div[2]/div[1]/div[2]/dl/dd/div/ul/li/a/text()')

4.随机点一个城市，进入该城市，查看游记攻略，本文选的是上海

5.进行抓包，查找需要的信息

 				# 提取游记作者
                author_list = html.xpath('//span[@class="user\_name"]/a/text()')
                # 出发时间
                date_list = html.xpath('//span[@class="date"]/text()')
                # 游玩时间
                days_list = html.xpath('//span[@class="days"]/text()')
                # 阅读量
                read_list = html.xpath('//span[@class="icon\_view"]/span/text()')
                # 点赞量
                like_count_list = html.xpath('//span[@class="icon\_love"]/span/text()')
                # 评论量
                icon_list = html.xpath('//span[@class="icon\_comment"]/span/text()')
                # 游记地址
                text_url_list = html.xpath('//h3[@class="tit"]/a/@href')

6.进行翻页抓包，第二页为异步加载

7.在上一张图中点击Headers，获取游记攻略的请求地址

这样思路是不是清晰一点，来观察一下请求地址https://travel.qunar.com/place/api/html/books/dist/299878?sortField=0&pageSize=10&page=2
其中299878是上海城市的id page是页数

源码展示：

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**