爬虫# 爬短视频并下载
- 分析网站
浏览器网站过程;浏览器请求视频服务器然后视频服务器反馈视频数据
爬虫过程;找到请求(模拟浏览器发送请求)网址(可以根据preview确定),在preview里找到反馈数据,再从里面提取视频播放地址和视频的名称,后面根据视频播放地址保存到本地。 - 发送请求
①发送请求;
import requests
url=‘地址’
②模拟浏览器;
请求头
header={user-agent…(浏览器信息)}
r=requests.get(url,headers=header).json()
#Response[200]响应的状态码~200代表请求成功,print(“r”)
③获取数据(注意获取层次)
videos=r[‘最高层’][‘中间层’][‘最底层’]
#print(‘videos’)
取里面元素需要循环
for index in videos # print(index)
④获去视频名字和播放地址
title=index[‘title’]#名称
paly_url=index[‘play_url’]#播放地址 - 保存视频
根据视频地址保存本地
再发一次请求(往视频播放地址)
video_content=requests.get(play_url,headers=header)
获取内容
video_content=requests.get(play_url,headers=header)
.content
保存视频
path=‘路径\’ #保存路径,\是转译的意思
with open(path+title+’.mp4’,‘wb’)as f:
f.write(video_content)
#wb的意思w是写,b是二进制