python爬取小视频-今天给大家带来了python抓取b站小视频的小爬虫

首先打开小视频 的网页

url = http://vc.bilibili.com/p/eden/rank#/?tab=%E5%85%A8%E9%83%A8

然后我们来分析下url：

点击排行榜，默认全部显示，往下拉滚动条，发现网页是动态加载的，然后我们打开审查元素（快捷键F12），这里我用的是火狐浏览器，先清空然后往下拉进度条，就出来了动态加载的所有信息：

找到下图所示的内容

这个就是动态加载的内容，我们点击它，看下它有些什么东西

响应里面，可以看到是json格式保存的内容，包括视频的简介，视频url等等，而这些就是我们今天的目标了！

我们先来获取消息头里面的真实网址！

观察规律找到翻页的控制参数和请求模式，next_offset=后面控制视频的加载，以10的倍数翻页，请求模式为get

我们可以开始写代码了！

首先导入模块，我们今天要用到的模块很少

import requests, time, random,re

这几个模块都可以用pip来安装，cmd下输入命令:pip install 库名

其中用time和random模块是用于爬取内容时的时间间隔，re模块是用于修正文件名的函数

好了，先写个获取源码的函数

头部信息在消息头里面的请求头，大家自行修改为自己的就好！

我们要依次保存mp4格式的视频文件，这里提供给大家一个小函数，用于剔除文件名中的不规范符号，用了re模块！

这里说明下，这段代码是在网上找的，懒的敲了

先来获取每次加载的url，注意第一次加载的url和后面加载的不一致，用if函数。

分析整个页面发现，排行榜只有100个视频，10个一批加载，所以直接写入循环，然后用json方式获取我们需要的内容即可，非常简单的一个爬虫。

完整代码和运行结果奉上！

需要注意的是在下载视频文件的时候，需要加入头部信息，不然下载不了的！

欢迎大家来我的python交流、学习群：542110741，大家一起学习进步！

喜欢就点个赞呗！