前言
嗨喽,大家好呐!这里是魔王~
环境使用:
- Python 3.8 <建议最好是和一样版本>
- Pycharm
模块使用:
- import requests >>> pip install requests
内置模块 你安装好python环境就可以了
- import re
- import json
如果安装python第三方模块:
- win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
- 在pycharm中点击Terminal(终端) 输入安装命令
实现案例 <通用模板>
一. 数据来源分析
采集数据内容, 要知道我们想要内容是来自哪里
<开发者工具进行抓包分析>
- F12打开打开发者工具
- 刷新网页 让数据重新加载一遍
- 这个网站是一个m3u8内容
正常情况, 一个完整的内容
m3u8内容 会整个完整内容,分割成很多个小视频片段 <ts文件> 一个ts文件 可能只有几秒钟的时间
所以我们得去找一个文件内容 <m3u8文件> 包含我们所有ts文件内容 <所有视频片段>
最好的搜索方式, 是根据ts文件url去搜索m3u8文件
请求获取网页源代码 就可以得到m3u8文件 >>> 所有片段就得到了 >>> 合成为一个整体的内容
二. 代码实现步骤: <基本四大步骤>
-
发送请求, 对于播放详情页url地址发送请求
-
获取数据, 获取网页源代码 <获取服务器返回response响应数据>
-
解析数据, 提取我们想要数据内容 <m3u8文件>
-
发送请求, 对于m3u8文件url发送请求
-
获取数据, 获取服务器返回response响应数据
-
解析数据, 提取所有ts文件内容 <片段url>
-
保存数据, 保存内容到本地
代码
import time
import requests # 数据请求模块
import re # 正则表达式模块
import json
import pprint
for page in range(3, 29):
print(f'正在采集第{
page}