如何用python批量下载这些视频?只需 15 行代码,即可轻松实现

话说人生苦短,我用Python。

如果学python不是为了下载这些视频,那将毫无意义!
啊呸,老色批


咳咳,我们开始正题。

一、事前前奏

首先没装Python、pycharm的铁子先自己安装一下,我就不写安装了。

要看视频教程的话,在左侧扫码即可,我有专门录制讲解视频。

然后就是模块了,还是爬虫老大件 requests ,直接 pip 安装即可,requests 是数据请求模块。

win+r 打开运行框输入 cmd 按回车,在弹出来的命令提示符窗口输入 pip install requests 回车即可安装成功。

  • 安装失败原因
    1、 pip 不是内部命令,解决方法(设置环境变量)
    2、出现大量报红 (read time out) ,解决方法(因为是网络链接超时, 需要切换镜像源)
    3、cmd里面显示已经安装过了,或者安装成功了,但是在pycharm里面还是无法导入,解决方法(可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好,或者你pycharm里面python解释器没有设置好)

镜像源

清华:https://pypi.tuna.tsinghua.edu.cn/simple
阿里云:https://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学:https://pypi.hustunique.com/
山东理工大学:https://pypi.sdutlinux.org/
豆瓣:https://pypi.douban.com/simple/

安装方式

例如

pip3 install -i https://pypi.doubanio.com/simple/ 模块名

如何配置pycharm里面的python解释器?

  1. 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
  2. 点击齿轮, 选择add。
  3. 添加python安装路径

pycharm如何安装插件?

  1. 选择file(文件) >>> setting(设置) >>> Plugins(插件)
  2. 点击 Marketplace 输入想要安装的插件名字,比如:翻译插件 输入 translation,汉化插件 输入 Chinese
  3. 选择相应的插件点击 install(安装) 即可
  4. 安装成功之后是会弹出重启pycharm的选项,点击确定,重启即可生效。

二、正文

前奏完了,我们直接进入主题…

地址我把关键的删掉了,第一个 v.6 第二个 haokan.baidu

1、思路流程

我们怎么去实现一个pa虫案例?

每个网站数据结构都是不一样的,需要自己重新去分析去抓包,但pa虫基本就这个流程。

1、数据来源分析

  • 首先确定自己的目标地址以及目标数据来源,确定url地址;
  • 通过开发者工具进行抓包分析;

2、代码实现过程

  • 发送请求,对于刚刚分析得到url地址发送请求;
  • 获取数据,获取服务器返回 response数据;
  • 解析数据,提取我们想要内容 ,视频播放url地址以及视频标题;
  • 保存数据,保存本地文件夹;

2、代码展示

首先导入模块

import requests
import re

re是正则表达是模块,内置的,不用安装。只要安装 requests 就好了。

发送请求

对于刚刚分析得到url地址发送请求

I. 请求url网址 [理解为电话号码];
II. 请求方式;
III. headers伪装需要加什么参数、请求头、字典数据类型、键值对形式;

for page in range(26, 29):
    print(f'====================================正在采集第{page}页数据内容====================================')
    url = f'https://minivideo/getMiniVideoList.php?act=recommend&page={page}&pagesize=25'
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36'
    }
    response = requests.get(url=url, headers=headers)

<Response [200]> 返回response响应对象 200 状态码表示请求成功。

获取数据

获取服务器返回response数据

response.text 获取响应体文本数据           字符串数据类型
response.json() 获取响应体json字典数据     字典数据类型

如果返回数据是一个完整 json 数据格式,可以直接获取 response.json() 为了方便之后提取内容。
字典取值更方便,可以直接根据键值对提取数据内容,根据冒号左边的内容,提取冒号右边的内容。

先取 content 再取list ,返回的就是列表数据。

print(response.text)
print(response.json()['content']['list'])

这个返回的列表就包含了视频的数据信息,后面的地址我就没截图了,我怕~

解析数据

提取我们想要内容、视频播放url地址以及视频标题。

for index in response.json()['content']['list'][14:]:
    title = index['title']
    play_url = index['playurl']  # 快速复制 ctrl + D
    new_title = re.sub(r'[\/:*?"|<>]', '', title)
    print(title, play_url)

保存数据

video_content = requests.get(url=play_url).content
with open('video\\' + new_title + '.mp4', mode='wb') as f:
    f.write(video_content)
print('视频保存完成: ', title, play_url)

补充

json获取数据

import requests
import re
import json
url = 'https://com/web/search/api?pn=4&rn=10&type=video&query=%E7%BE%8E%E5%A5%B3'
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36'
}
json_data = requests.get(url=url, headers=headers).json()
for index in json_data['data']['list']:
    index_url = index['url']
    html_data = requests.get(url=index_url, headers=headers).text
    video_info = re.findall('window.__PRELOADED_STATE__ = (.*?);.*?document', html_data)[0]
    json_data_1 = json.loads(video_info)
    title = json_data_1['curVideoMeta']['title']
    video_url = json_data_1['curVideoMeta']['clarityUrl'][-1]['url']
    print(title, video_url)

3、结果展示

在这里插入图片描述
兄弟们,今天的分享就到这里,记得点赞收藏!

  • 9
    点赞
  • 47
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
### 回答1: 可以使用 Python 的 requests 库来下载网页上的视频。 首先,安装 requests 库: ```python pip install requests ``` 然后,使用以下代码下载视频: ```python import requests # 视频的 URL video_url = 'https://example.com/video.mp4' # 下载视频 response = requests.get(video_url) # 将视频写入文件 with open('video.mp4', 'wb') as f: f.write(response.content) ``` 在这段代码中,我们使用 `requests.get` 函数来发送一个 GET 请求,并将响应的内容保存在 `response` 变量中。然后使用 `response.content` 属性获取视频的二进制数据,并使用 `with open` 将其写入文件。 注意,有些网站可能会禁止爬虫下载视频,因此可能无法使用这种方法下载。 ### 回答2: 在Python中,可以使用第三方库来下载网页上的视频。常用的库包括requests和urllib.request。下面是一个使用requests库下载网页视频的示例代码: ```python import requests def download_video(url, filename): response = requests.get(url, stream=True) with open(filename, 'wb') as f: for chunk in response.iter_content(chunk_size=1024): if chunk: f.write(chunk) f.flush() video_url = "http://example.com/video.mp4" file_name = "video.mp4" download_video(video_url, file_name) print("视频下载完成。") ``` 以上代码定义了一个`download_video`函数,可以通过传入视频的URL和文件名来下载视频。函数使用了stream=True参数,以流的形式下载视频,可以有效地处理大文件。在循环中,使用iter_content方法逐块写入文件,chunk_size可以自调整。 要注意的是,在实际应用中,可能要处理一些额外的逻辑,比如防止重复下载、保存文件的路径等等。此处的示例代码仅供参考,具体根据求进相应的修改。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值