使用环境：
- python3
- scrapy
- win10
爬取步骤
（1）从用户视频列表页开始
（2）使用ajax对接接口
（3）获取今日头条视频真实地址（西瓜视频真实地址）
备注：
这里的今日头条视频链接是直接跳转到365阳光宽频网的
https://www.365yg.com/
（1）我们要做的目标就是从把某个作者下的视频全部爬取下来。
（2）列表页下滑，获取xhr json数据
（3）xhr json获取规则: max_behot_time 参数的获取
python3 scrapy抓取今日头条视频（西瓜视频）
最新推荐文章于 2024-07-21 18:03:04 发布
本文介绍了如何使用Python3和Scrapy框架在Windows 10环境下爬取今日头条视频，特别是西瓜视频的内容。首先从作者的视频列表页开始，通过AJAX接口获取JSON数据，利用max_behot_time参数进行接口拼接。在获取视频详情页时，注意视频的真实地址并非初始链接，而是通过视频ID解析得到。最后，文章分享了实际操作中的一些注意事项，如使用scrapy-redis、IP代理池和延迟策略，以及爬取的数据量。
最低0.47元/天 解锁文章
1271
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
