python爬虫 下载视频网站视频
- xpath解析页面源码
- requests.Session() 解决 status_code 302 网页重定向
- selenium 获取网页遇到 iframe 标签解决办法
最近发现一个比较好的视频网站,里面的资源清晰度很高,就想把自己喜欢的美剧下载到本地保存起来慢慢看。
第一步:分析视频链接
-
点击视频,进入播放页面
-
打开谷歌浏览器f12 点击切换到Network
-
点击视频播放按钮,会看到一直有一条条状态刷新出来
-
这个网站比较简单,切换到media,就可以看到重定向的原url,和视频的url
点开第一条url 可以看到请求的url(Reques URL),下面Response Headers【‘location’】就是重定向后的url
点开下面的url ,发现跟重定向后的url相同,并且复制这个url到浏览器就可以直接下载视频了,这里我就找到了视频下载的url了。
第二步:切换到Element,定位视频播放的节点。- 这里在 video 标签的 src 属性里面找到了视频的 url ,经过对比发现就是重定向的原 url 。所以我就可以直接获取到视频播放页面源码后用xpath解析出来。
- 但是这里的 video 标签 ,在一个 iframe 标签里面,直接用xpath 定位不到。
- 只能换selenium 定位。
bro.switch_to.frame(bro.find_element_by_xpath('//*[@id="playleft"]/iframe')) #切换到iframe标签里面 再进行定位
src = bro.find_element_by_xpath('//*[@id="video"]/div[2]/video').get_attribute('src')
第三步:拿到 src 后,用requests.Session() ,获取重定向后的 url
session = requests.Session() #定义一个session对象,用它发起请求
res = session.get(url=src, headers=headers, allow_redirects=False) #allow_redirects=Flase阻止重定向
new_url = res.headers['Location'] #拿到Response Headers['location']
第四步:对重定向后的 url ,发起request.get().content 拿到二进制数据,持久化存储
re = requests.get(url=new_url, headers=headers).content
with open('E:/视频下载/曼达洛人/'+str(i)+'集'+'.mp4', 'wb')as f:
f.write(re)
完整代码
import requests
import os
from selenium import webdriver
from selenium.webdriver import ChromeOptions
if not os.path.exists('E:/视频下载/曼达洛人'):
os.mkdir('E:/视频下载/曼达洛人') #新建文件夹
option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation']) # 规避检测
bro = webdriver.Chrome(options=option) # 实例化浏览器对象
url_x = 'https://www.xxxxxxx.me/play/66-2-{}.html'
for i in range(1, 7): #循环获取本季所有集视频
url = url_x.format(i)
bro.get(url)
bro.switch_to.frame(bro.find_element_by_xpath('//*[@id="playleft"]/iframe'))
src = bro.find_element_by_xpath('//*[@id="video"]/div[2]/video').get_attribute('src')
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36',
}
session = requests.Session()
res = session.get(url=src, headers=headers, allow_redirects=False)
new_url = res.headers['Location']
print('开始下载第{}集, 耐心等待'.format(i))
re = requests.get(url=new_url, headers=headers).content
with open('E:/视频下载/曼达洛人/'+str(i)+'集'+'.mp4', 'wb')as f:
f.write(re)
print('曼达洛人第{}集下载完成'.format(i))
print('开始下载下一集——————————————————————————————')
print('OVER!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!')
bro.close()