Python爬虫：看看舞蹈区哪个女网红最给力，如果爬虫不是为了爬视频，那将毫无意义(1)-CSDN博客

本文链接：https://blog.csdn.net/m0_61369817/article/details/138760991

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

Python3.8
pycharm专业版

2、模块安装

这是要用的模块

requests
re
json

win+r打开搜索输入cmd按确定打开命令提示符窗口，输入pip install 加上你要安装的模块即可。下载速度慢的话换成国外的镜像源。

我还给大家准备了Python实现的五子棋游戏和超级玛丽源码，还有Python相关电子书和视频，都可以在左边扫码领取，没有软件或者不会安装也也可以。

二、爬虫流程

首先确定我们的需求是什么，以及数据来源分析。

通过开发者工具进行抓包分析，分析视频播放地址来自哪里。

得到视频播放url ，分析视频播放url 可以从哪里获取。

先获取所有视频的ID；

把这个ID传入视频数据包里面，就可以获取音频url地址以及视频标题；

音频url地址，可以进行保存数据；

代码实现步骤

发送请求 >>> 获取数据 >>> 解析数据 >>> 保存数据

发送请求, 对于视频数据包url地址

获取数据, 获取[服务器]返回的数据内容

解析数据, 提取我们想要的内容视频url地址以及视频标题

保存数据

三、代码展示

导入模块

import requests # 数据请求模块

import pprint # 格式化输出模块

import re # 正则表达式

翻页分析请求url地址的变化规律，构建for循环。

for page in range(3, 11):

print(f’=正在爬取第{page}页的数据内容=')

url = f’https://v.****.com/g/all?set_id=31&order=hot&page={page}’

headers = {

‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36’

}

response = requests.get(url=url, headers=headers)

\d+匹配多个数字视频ID 都是数字想要的数据就用()

通过re模块里面findall方法，从response.text 里面匹配查询 <a href=“//v.huya.com/play/(\d+).html” class="video-wrap"数据内容。

video_id_list = re.findall(‘<a href=“//v.****.com/play/(\d+).html” class=“vide-wrap”’, response.text)

for video_id in video_id_list:

1、发送请求

对于视频数据包url地址

字符串格式化的方法，就是把 video_id 传入 url里面。

ur1 = f’https://liveapi.****.com/moment/getMomentContent?videoId={video_id}&uid=&_=1639224652506’

headers请求头，作用伪装python代码，模拟成浏览器对于服务器发送请求。

某些网站不加headers会被反爬, 被识别出来是爬虫程序，服务器不会给你返回数据。

headers字典数据类型，键值对形势一个键对应一个值，键和值之间是用冒号隔开的。

headers = {

‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36’

}

通过requests这个模块里面get请求方法，对于url地址发送请求，并且携带上headers请求头进行伪装，最后response变量接收返回数据。

response = requests.get(url=url, headers=headers)

<Response [200]> response响应体对象 200 状态码，表示请求成功。

response.text 获取响应体的文本数据。

2、获取数据

获取[服务器]返回的数据内容。

返回json字典数据，对于后续解析数据会更加方便。

print(response.json())

pprint.pprint(response.json())

3、解析数据

提取我们想要的内容视频url地址以及视频标题

对于字典提取数据, 有了解过吗?

就是根据冒号左边的内容，提取冒号右边内容。

title = response.json()[‘data’][‘moment’][‘title’]

video_url = response.json()[‘data’][‘moment’][‘videoInfo’][‘definitions’][0][‘url’]

最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！