自动爬取bilibi小视频
实验环境
- Chrome 浏览器 (能使用开发者模式的浏览器都行)
- 任意可编辑Python代码的编辑器
- Python3 开发环境
实验步骤
第一步:查找request URL请求地址
访问网站“http://vc.bilibili.com/p/eden/rank#/?tab=全部”通过 F12 打开开发者模式,然后在 Networking -> Name 字段下找到这个链接:
http://api.vc.bilibili.com/board/v1/ranking/top?page_size=10&next_offset=&tag=%E4%BB%8A%E6%97%A5%E7%83%AD%E9%97%A8&platform=pc
如下图所示。
我们可以看到Request URL这个属性值,我们向下滑动加载视频的过程中,发现只有这段url是不变的。
http://api.vc.bilibili.com/board/v1/ranking/top?
next_offset 会一直变化,我们可以猜测,这个可能就是获取下一个视频序号,我们只需要把这部分参数取出来,把 next_offset 写成变量值,用 JSON 的格式返回到目标网页即可。