2024年最全简短的爬虫程序，14行Python代码轻松实现爬取网站视频(1)

---

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

作者： IvanFX 复兴计算机社团

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef

基本步骤与准备工作

---

调试环境：

pycharm+python3

需要库：

• urllib.

• request

• re

(http.cookiejar 后续爬虫进场会使用到的库，本项目反爬不涉及所以可以不添加)

如果import过程显示没有上述库，可以通过文件→设置→projet interpreter中右侧点击+来添加（如果您使用anaconda或者python也可以直接运行本项目，通过cmd→pip install添加）

2.在本文中我们通过python对于在线的短视频进行爬取，下载存储。基本步骤如下（可以写注释梳理思路）：

（1）分析页面URL和视频文件URL特征

（2）获取网页源代码HTML，解决反爬机制

（3）批量下载视频存储

分析页面URL与文件URL特征

---

1.分析网页URL

通过网页网址：http://www.budejie.com/video/1，我们可以发现针对不同页码变化的知识网址最后一个数值，而这个数值代表了页数，所以只需要改变为固定网址+变量的形式批量获取该站的网址URL

2.分析文件名URL

通过对于网页当中的mp4的文件名进行分析，发现文件的URL是明文显示的，所以通过re的正则可以匹配获取。

批量获取URL，并从中提取视频的URL

---

import urllib.request

import re

for page in range (1,20):

req = urllib.request.Request(“http://www.budejie.com/video/%s” % page)

html = urllib.request.urlopen(req).read()

html = html.decode(‘UTF-8’)

print(html)

1.批量爬取网页URL

这里我们page变量代表页面的编码，从这里我们暂时先爬取前20页。

（1）req获取网页反馈

（2）html通过函数获取网页的元代码

（3）通过对于源代码UTF-8编码恢复中文的显示。

但是通过上述代码的执行发现错误显示http Error 403，因为网页的反爬机制不能获取。

2.通过页面增加头文件

我们通过谷歌浏览器访问页面，按F12并切换到Network，刷新界面观察访问进程，可以从进程文件中选取一个查看头文件，添加到代码中,（这里选取的baisibudejie.js）修改代码如下，可以正常爬取界面。

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！