用python爬取去哪儿游记攻略为十月假期做准备。。。爬虫之路，永无止境！

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

text_url_list = html.xpath(‘//h3[@class=“tit”]/a/@href’)

6.进行翻页抓包，第二页为异步加载

7.在上一张图中点击Headers，获取游记攻略的请求地址

**这样思路是不是清晰一点，来观察一下请求地址https://travel.qunar.com/place/api/html/books/dist/299878?sortField=0&pageSize=10&page=2

其中299878是上海城市的id page是页数**

源码展示：

---

!/usr/bin/nev python

--coding:utf8--

import tkinter as tk

import re

from lxml import etree

import tkinter.messagebox as msgbox

from requests_html import HTMLSession

from threading import Thread

import os, xlwt, xlrd

from xlutils.copy import copy

session = HTMLSession()

class TKSpider(object):

def init(self):

定义循环条件

self.is_running = True

定义起始的页码

self.start_page = 1

“”“定义可视化窗口，并设置窗口和主题大小布局”“”

self.window = tk.Tk()

self.window.title(‘爬虫数据采集’)

self.window.geometry(‘1000x800’)

“”“创建label_user按钮，与说明书”“”

self.label_user = tk.Label(self.window, text=‘请选择城市输入序号：’, font=(‘Arial’, 12), width=30, height=2)

self.label_user.pack()

“”“创建label_user关联输入”“”

self.entry_user = tk.Entry(self.window, show=None, font=(‘Arial’, 14))

self.entry_user.pack(after=self.label_user)

“”“创建Text富文本框，用于按钮操作结果的展示”“”

定义富文本框滑动条

scroll = tk.Scrollbar()

放到窗口的右侧, 填充Y竖直方向

scroll.pack(side=tk.RIGHT, fill=tk.Y)

self.text1 = tk.Text(self.window, font=(‘Arial’, 12), width=75, height=20)

self.text1.pack()

两个控件关联

scroll.config(command=self.text1.yview)

self.text1.config(yscrollcommand=scroll.set)

“”“定义按钮1，绑定触发事件方法”“”

self.button_1 = tk.Button(self.window, text=‘下载游记’, font=(‘Arial’, 12), width=10, height=1, command=self.parse_hit_click_1)

self.button_1.pack(before=self.text1)

“”“定义按钮2，绑定触发事件方法”“”

self.button_2 = tk.Button(self.window, text=‘清除’, font=(‘Arial’, 12), width=10, height=1, command=self.parse_hit_click_2)

self.button_2.pack(anchor=“e”)

“”“定义富文本文字的显示”“”

self.start_url = ‘https://travel.qunar.com/place/’

self.headers = {

‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36’

}

发送请求，获取响应，解析响应

response = session.get(self.start_url, headers=self.headers).html

提取所有目的地(城市)的url

city_url_list = response.xpath(

‘//*[@id=“js_destination_recommend”]/div[2]/div[1]/div[2]/dl/dd/div/ul/li/a/@href’)

city_id_list = [‘’.join(re.findall(r’-cs(.*?)-', i)) for i in city_url_list]

提取所有的城市名称

city_name_list = response.xpath(

‘//*[@id=“js_destination_recommend”]/div[2]/div[1]/div[2]/dl/dd/div/ul/li/a/text()’)

self.dict_data = dict(zip(city_id_list, city_name_list))

text_info = ‘’

for city_id, city_name in zip(city_id_list, city_name_list):

text_info += city_id + “:” + city_name + ‘\t\t’

self.text1.insert(“insert”, text_info)

def parse_hit_click_1(self):

“”“线程关联：定义触发事件1, 将执行结果显示在文本框中”“”

Thread(target=self.parse_start_url_job).start()

def parse_city_id_name_info(self):

“”"

富文本内容展示：

:return:

“”"

发送请求，获取响应，解析响应

response = session.get(self.start_url, headers=self.headers).html

提取所有目的地(城市)的url

city_url_list = response.xpath(

‘//*[@id=“js_destination_recommend”]/div[2]/div[1]/div[2]/dl/dd/div/ul/li/a/@href’)

city_id_list = [‘’.join(re.findall(r’-cs(.*?)-', i)) for i in city_url_list]

提取所有的城市名称

city_name_list = response.xpath(

‘//*[@id=“js_destination_recommend”]/div[2]/div[1]/div[2]/dl/dd/div/ul/li/a/text()’)

self.dict_data = dict(zip(city_id_list, city_name_list))

text_info = ‘’

for city_id, city_name in zip(city_id_list, city_name_list):

text_info += city_id + “:” + city_name + ‘\t\t****’

self.text1.insert(“insert”, text_info)

def parse_start_url_job(self):

从输入窗口获取输入

city_id = self.entry_user.get()

self.text1.delete(“1.0”, “end”)

异常捕捉，是否存在key值

try:

city_name = self.dict_data[city_id]

self.parse_request_yj(city_id, city_name)

except:

报错提示

msgbox.showerror(title=‘错误’, message=‘检测到瞎搞，请重新输入！’)

def parse_request_yj(self, city_id, city_name):

“”"

拼接游记地址，进行翻页

:param city_id: 城市的id

:param city_name: 城市的名称

:return:

“”"

while self.is_running:

yj_url = f’https://travel.qunar.com/place/api/html/books/dist/{city_id}?sortField=0&pageSize=10&page={self.start_page}’

response = session.get(yj_url, headers=self.headers).json()[‘data’].replace(‘\’, ‘’)

html = etree.HTML(response)

提取游记的标题：

title_list = html.xpath(‘//h3[@class=“tit”]/a/text()’)

死循环的终止条件

if not title_list:

print(“该城市已经采集到最后一页----------城市切换中---------logging！！！”)

break

else:

提取游记作者

author_list = html.xpath(‘//span[@class=“user_name”]/a/text()’)

出发时间

date_list = html.xpath(‘//span[@class=“date”]/text()’)

游玩时间

days_list = html.xpath(‘//span[@class=“days”]/text()’)

阅读量

read_list = html.xpath(‘//span[@class=“icon_view”]/span/text()’)

点赞量

like_count_list = html.xpath(‘//span[@class=“icon_love”]/span/text()’)

评论量

icon_list = html.xpath(‘//span[@class=“icon_comment”]/span/text()’)

游记地址

text_url_list = html.xpath(‘//h3[@class=“tit”]/a/@href’)

“”“构造保存数据格式字典”“”

for a, b, c, d, e, f, g, h in zip(title_list, author_list, date_list, days_list, read_list, like_count_list, icon_list, text_url_list):

dict_dd = {

city_name: [a, b, c, d, e, f, g, h]

}

self.text1.insert(“insert”, f"{a}-----------采集完成！！！" + ‘\n’)

self.SaveExcels(dict_dd)

self.start_page += 1

def SaveExcels(self, data):

获取表的名称

sheet_name = [i for i in data.keys()][0]

创建保存excel表格的文件夹

os.getcwd() 获取当前文件路径

os_mkdir_path = os.getcwd() + ‘/数据/’

判断这个路径是否存在，不存在就创建

if not os.path.exists(os_mkdir_path):

os.mkdir(os_mkdir_path)

判断excel表格是否存在 工作簿文件名称

os_excel_path = os_mkdir_path + ‘数据.xls’

if not os.path.exists(os_excel_path):

不存在，创建工作簿(也就是创建excel表格)

workbook = xlwt.Workbook(encoding=‘utf-8’)

“”“工作簿中创建新的sheet表”“” # 设置表名

worksheet1 = workbook.add_sheet(sheet_name, cell_overwrite_ok=True)

“”“设置sheet表的表头”“”

sheet1_headers = (‘游记标题’, ‘发布游记的作者名称’, ‘出发时间’, ‘游玩时间’, ‘阅读量’, ‘点赞量’, ‘评论量’, ‘游记地址’)

将表头写入工作簿

for header_num in range(0, len(sheet1_headers)):

设置表格长度

worksheet1.col(header_num).width = 2560 * 3

写入表头 行, 列, 内容

worksheet1.write(0, header_num, sheet1_headers[header_num])

循环结束，代表表头写入完成，保存工作簿

workbook.save(os_excel_path)

“”“=已有工作簿添加新表===================”“”

打开工作薄

workbook = xlrd.open_workbook(os_excel_path)

获取工作薄中所有表的名称

sheets_list = workbook.sheet_names()

如果表名称：字典的key值不在工作簿的表名列表中

if sheet_name not in sheets_list:

复制先有工作簿对象

work = copy(workbook)

通过复制过来的工作簿对象，创建新表 – 保留原有表结构

sh = work.add_sheet(sheet_name)

给新表设置表头

最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

👉Python所有方向的学习路线👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉Python必备开发工具👈

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

👉Python全套学习视频👈

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

👉实战案例👈

学python就与学数学一样，是不能只看书不做题的，直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。

因此在学习python的过程中一定要记得多动手写代码，教程只需要看一两遍即可。

👉大厂面试真题👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！