[第三方库]:
- requests
- parsel
不会安装,直接打开你的cmd输入 pip install+模块名,就可以了
二、案例思路分析:
1.明确今天的目的, 我们需要什么数据
(出发日期 天数 人均费用 人物 玩法 地点 浏览量…)获取这些数据用来进行最后的数据分析,看全国景区数据
2.分析网页 确定我们的数据来源
本次获取的网站是一个静态网站
三、代码实现步骤:
- 向目标网站发送网络请求
https://travel.qunar.com/travelbook/list.htm?order=hot_heat
- 获取数据 网页源代码
- 筛选我们需要的数据 所有的详情页链接
- 向 每一个详情页 链接发送网络请求
- 获取数据 网页源代码
- 提取数据
出发日期 天数 人均费用 人物 玩法 地点 浏览量… - 保存数据
- 多页爬取
- 做一个可视化分析 旅游景点推荐
四、获取数据
import random
import time
import requests # 发送网络请求
import parsel # 筛选数据模块
import csv # 保存数据
csv_qne = open('去哪儿.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.writer(csv_qne)
csv_writer.writerow(['地点', '短评', '出发时间', '天数','人均费用','人物','玩法','浏览量','详情页'])
for page in range(1, 201):
# 1. 向目标网站发送网络请求
url = f'https://travel.qunar.com/travelbook/list.htm?page={page}&order=hot\_heat'
# 写爬虫 没有太大区别
# post里面需要加一些请求参数
# 在网站开发当中 get请求不是很安全的请求 有长度限制的
# post 更加安全 提交表单数据内容 没有长度限制的
response = requests.get(url)
# <Response [200]>: 访问成功了, 接下来我们就只需要拿数据就行了
# 2. 获取数据 网页源代码
html_data = response.text
# 3. 筛选我们需要的数据 所有的详情页链接
selector = parsel.Selector(html_data)
# css选择器提取网页内容
# 需要有网页开发基础
url_list = selector.css('body > div.qn\_mainbox > div > div.left\_bar > ul > li > h2 > a::attr(href)').getall()
for detail_url in url_list:
detail_id = detail_url.replace('/youji/', '')
detail_url = 'https://travel.qunar.com/note/' + detail_id
# 4. 向 每一个详情页 链接发送网络请求
response_1 = requests.get(detail_url)
# 5. 获取数据 网页源代码
data_html_1 = response_1.text
# 6. 提取数据
# 出发日期 天数 人均费用 人物 玩法 地点 浏览量...
selector_1 = parsel.Selector(data_html_1)
# ::text 提取标签里面文本内容 \*所有
# 标题
title = selector_1.css('.b\_crumb\_cont \*:nth-child(3)::text').get()
# 短评
comment = selector_1.css('.title.white::text').get()
# 浏览量
count = selector_1.css('.view\_count::text').get()
# 出发日期
date = selector_1.css('#js\_mainleft > div.b\_foreword > ul > li.f\_item.when > p > span.data::text').get()
# 天数
days = selector_1.css('#js\_mainleft > div.b\_foreword > ul > li.f\_item.howlong > p > span.data::text').get()
# 人均费用
money = selector_1.css('#js\_mainleft > div.b\_foreword > ul > li.f\_item.howmuch > p > span.data::text').get()
# 人物
character = selector_1.css('#js\_mainleft > div.b\_foreword > ul > li.f\_item.who > p > span.data::text').get()
# 玩法
play_list = selector_1.css('#js\_mainleft > div.b\_foreword > ul > li.f\_item.how > p > span.data span::text').getall()
play = ' '.join(play_list)
print(title, comment, date, days, money, character, play, count, detail_url)
csv_writer.writerow([title, comment, date, days, money, character, play, count, detail_url])
time.sleep(random.randint(3, 5))
csv_qne.close()
获取的数据如下:
现在能在网上找到很多很多的学习资源,有免费的也有收费的,当我拿到1套比较全的学习资源之前,我并没着急去看第1节,我而是去审视这套资源是否值得学习,有时候也会去问一些学长的意见,如果可以之后,我会对这套学习资源做1个学习计划,我的学习计划主要包括规划图和学习进度表。
分享给大家这份我薅到的免费视频资料,质量还不错,大家可以跟着学习
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!