Python爬取全民小视频网站视频，可爬取全站视频(2)

• 右键选择检查，开发开发者工具

• 选择 Network，网页往下滑，可以看到数据加载

• 视频地址

• 视频名字

• 视频ID

接口数据链接是通过pn的变化，实现翻页效果

如果想要爬取其他分类视频，把参数中tab_name 更改即可

完整代码

---

import pprint

import requests

url = ‘https://quanmin.baidu.com/wise/growth/api/home/tabmorelist’

for page in range(1, 100):

params = {

‘rn’: ‘12’,

‘pn’: ‘{}’.format(page),

‘timestamp’: ‘1603442730716’,

‘session_id’: ‘1603442719704’,

‘tab_name’: ‘movie’,

‘_format’: ‘json’,

}

headers = {

‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36’

}

response = requests.get(url=url, params=params, headers=headers)

html_data = response.json()

lis = html_data[‘data’][‘list’][‘video_list’]

for li in lis:

play_url = li[‘play_url’]

title = li[‘title’]

filename = ‘D:\python\demo\全民小视频\视频\’ + title + ‘.mp4’

response_2 = requests.get(url=play_url, headers=headers)

with open(filename, mode=‘wb’) as f:

f.write(response_2.content)

print(title, play_url)

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

，真正体系化！**

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）