简短的爬虫程序，14行Python代码轻松实现爬取网站视频

• re

(http.cookiejar 后续爬虫进场会使用到的库，本项目反爬不涉及所以可以不添加)

如果import过程显示没有上述库，可以通过文件→设置→projet interpreter中右侧点击+来添加（如果您使用anaconda或者python也可以直接运行本项目，通过cmd→pip install添加）

2.在本文中我们通过python对于在线的短视频进行爬取，下载存储。基本步骤如下（可以写注释梳理思路）：

（1）分析页面URL和视频文件URL特征

（2）获取网页源代码HTML，解决反爬机制

（3）批量下载视频存储

分析页面URL与文件URL特征

---

1.分析网页URL

通过网页网址：http://www.budejie.com/video/1，我们可以发现针对不同页码变化的知识网址最后一个数值，而这个数值代表了页数，所以只需要改变为固定网址+变量的形式批量获取该站的网址URL

2.分析文件名URL

通过对于网页当中的mp4的文件名进行分析，发现文件的URL是明文显示的，所以通过re的正则可以匹配获取。

批量获取URL，并从中提取视频的URL

---

import urllib.request

import re

for page in range (1,20):

req = urllib.request.Request(“http://www.budejie.com/video/%s” % page)

html = urllib.request.urlopen(req).read()

html = html.decode(‘UTF-8’)

print(html)

1.批量爬取网页URL

这里我们page变量代表页面的编码，从这里我们暂时先爬取前20页。

（1）req获取网页反馈

（2）html通过函数获取网页的元代码

（3）通过对于源代码UTF-8编码恢复中文的显示。

但是通过上述代码的执行发现错误显示http Error 403，因为网页的反爬机制不能获取。

2.通过页面增加头文件

我们通过谷歌浏览器访问页面，按F12并切换到Network，刷新界面观察访问进程，可以从进程文件中选取一个查看头文件，添加到代码中,（这里选取的baisibudejie.js）修改代码如下，可以正常爬取界面。

for page in range (1,20):

req = urllib.request.Request(“http://www.budejie.com/video/%s” % page)

req.add_header(“User-Agent”,“Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36”)

html = urllib.request.urlopen(req).read()

html = html.decode(‘UTF-8’)

print(html)

批量下载视频，并建立文件名存储

---

1.建立循环结构批量命名

建立循环结构之后，需要保留文件名下载，i.split(“/”)[-1]的含义是将i进行分割，以‘/’为分割符，保留最后一段，即MP4文件名。

2.批量下载

还是需要加一句显示的输出语句，来表示进程，也符合一个程序的交互性，也就是下载到那个视频的时候显示一下进度，最后下载到一个mp4的文件夹内

for i in re.findall(reg, html):

filename = i.split(“/”)[-1] # 以‘/ ’为分割f符，保留最后一段，即MP4的文件名

print(‘正在下载%s视频’ % filename)

urllib.request.urlretrieve(i, “mp4/%s” % filename)

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）