自动爬取bilibi小视频

实验环境

• Chrome 浏览器 (能使用开发者模式的浏览器都行)
• 任意可编辑Python代码的编辑器
• Python3 开发环境

实验步骤

第一步：查找request URL请求地址

访问网站“http://vc.bilibili.com/p/eden/rank#/?tab=全部”通过 F12 打开开发者模式，然后在 Networking -> Name 字段下找到这个链接：

http://api.vc.bilibili.com/board/v1/ranking/top?page_size=10&next_offset=&tag=%E4%BB%8A%E6%97%A5%E7%83%AD%E9%97%A8&platform=pc

如下图所示。

我们可以看到Request URL这个属性值，我们向下滑动加载视频的过程中，发现只有这段url是不变的。

http://api.vc.bilibili.com/board/v1/ranking/top?

next_offset 会一直变化，我们可以猜测，这个可能就是获取下一个视频序号，我们只需要把这部分参数取出来，把 next_offset 写成变量值，用 JSON 的格式返回到目标网页即可。

第二步：代码实现

1、