简单爬取一下短视频并保存在文件夹中
# 短视频
import requests
import pprint #查看自动格式化的json数据
# 爬虫的一般思路
# 1.分析目标网页,确定爬取的url路径,headers参数
base_url = 'https://v.6.cn/minivideo/getlist.php?act=recommend&page=1&pagesize=20'
head = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/80.0.3987.149 Safari/537.36'}
# 2.requests模拟浏览器发送请求
response = requests.get(base_url, headers=head)
json_data = response.json()
# pprint.pprint(json_data) # 自动进行数据格式化
# 3.解析数据 json模块:把json字符串转化成python可交互的数据类型
data_list = json_data['content']['list']
# 4.保存数据在目标文件夹中
for data in data_list:
video_title = data['title'] + '.mp4'
video_url = data['playurl']
# print(video_title, video_url)
# 发送视频数据的请求 视频数据是二进制数据
print('正在下载', video_title)
video_data = requests.get(video_url, headers=head).content
with open('video\\' + video_title, 'wb') as f:
f.write(video_data)
print('下载完成...\n')