环境使用:
- Python 3.8
- Pycharm 2021.2版本
- ffmpeg
模块使用:
- import requests >>> pip install requests
内置模块 你安装好python环境就可以了
- import re
- import json
- import subprocess
思路分析
一. 数据来源分析
- 确定自己需求 <采集网站是那个, 获取数据是什么东西>
- 通过开发者工具进行抓包分析, 分析我们想要数据内容来自于哪里 <通过网页源代码就可以找到相应数据内容>
信息数据 在网页源代码里面 playinfo里面
标题
我们想要数据内容都是来自于网页源代码
I.用浏览器打开这个网址
II. 在这个网页上面用鼠标右键点击查看网页源代码 会弹出一个新的窗口
III. ctrl + F 打开搜索框 搜索playinfo 可以找到相关信息数据
IV. ctrl + F 打开搜索框 搜索标题, 也可以找到相关的数据内容
二. 代码实现步骤过程 基本四大步骤
- 发送请求, 模拟浏览器对于url网址发送请求 <专门定义函数来发送请求>
- 获取数据, 获取网页源代码
- 解析数据, 提取我们想要数据内容 <信息以及标题>
- 保存数据, 把内容保存本地
部分代码
import requests # 数据请求模块 <发送请求工具>
import re # 正则表达式
import json # 序列化与反序列
import pprint # 格式化输出模块
import subprocess
import os
def get_response(html_url, data=None):
headers = {
'referer': '解答、完整源码、教程加Q裙:832157862', # 防盗链 告诉服务器你请求url是从哪里跳转过来的
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
}
response = requests.get(url=html_url, params=data, headers=headers)
return response
def get_video_info(play_url):
# 定义了函数, 一定要调用
response = get_response(html_url=play_url) # 调用前面定义好的发送请求函数 函数是可以重复调用
# print(response.text) # response.text 获取响应对象文本数据 <获取网页源代码> 字符串数据
title = re.findall('"title":"(.*?)","pubdate"', response.text