python爬虫 下载视频网站视频

python爬虫 下载视频网站视频

1. xpath解析页面源码
2. requests.Session() 解决 status_code 302 网页重定向
3. selenium 获取网页遇到 iframe 标签解决办法

最近发现一个比较好的视频网站，里面的资源清晰度很高，就想把自己喜欢的美剧下载到本地保存起来慢慢看。

第一步：分析视频链接

1. 点击视频，进入播放页面

2. 打开谷歌浏览器f12 点击切换到Network

3. 点击视频播放按钮，会看到一直有一条条状态刷新出来

4. 这个网站比较简单，切换到media，就可以看到重定向的原url，和视频的url
   点开第一条url 可以看到请求的url（Reques URL），下面Response Headers【‘location’】就是重定向后的url
   
   点开下面的url ，发现跟重定向后的url相同，并且复制这个url到浏览器就可以直接下载视频了，这里我就找到了视频下载的url了。
   
   第二步：切换到Element，定位视频播放的节点。

   1. 这里在 video 标签的 src 属性里面找到了视频的 url ，经过对比发现就是重定向的原 url 。所以我就可以直接获取到视频播放页面源码后用xpath解析出来。
   2. 但是这里的 video 标签 ，在一个 iframe 标签里面，直接用xpath 定位不到。
   3. 只能换selenium 定位。

bro.switch_to.frame(bro.find_element_by_xpath('//*[@id="playleft"]/iframe')) #切换到iframe标签里面 再进行定位
src = bro.find_element_by_xpath('//*[@id="video"]/div[2]/video').get_attribute('src')

第三步：拿到 src 后，用requests.Session() ，获取重定向后的 url

session = requests.Session() #定义一个session对象，用它发起请求
res = session.get(url=src, headers=headers, allow_redirects=False) #allow_redirects=Flase阻止重定向
new_url = res.headers['Location'] #拿到Response Headers['location']

第四步：对重定向后的 url ，发起request.get().content 拿到二进制数据，持久化存储

re = requests.get(url=new_url, headers=headers).content
with open('E:/视频下载/曼达洛人/'+str(i)+'集'+'.mp4', 'wb')as f:
    f.write(re)

完整代码

import requests
import os
from selenium import webdriver
from selenium.webdriver import ChromeOptions

if not os.path.exists('E:/视频下载/曼达洛人'): 
    os.mkdir('E:/视频下载/曼达洛人')   #新建文件夹

option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation']) # 规避检测
bro = webdriver.Chrome(options=option) # 实例化浏览器对象



url_x = 'https://www.xxxxxxx.me/play/66-2-{}.html'
for i in range(1, 7):    #循环获取本季所有集视频
    url = url_x.format(i)
    bro.get(url)
    bro.switch_to.frame(bro.find_element_by_xpath('//*[@id="playleft"]/iframe'))
    src = bro.find_element_by_xpath('//*[@id="video"]/div[2]/video').get_attribute('src') 

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36',
    }

    session = requests.Session()
    res = session.get(url=src, headers=headers, allow_redirects=False)
    new_url = res.headers['Location']
    print('开始下载第{}集， 耐心等待'.format(i))
    re = requests.get(url=new_url, headers=headers).content
    with open('E:/视频下载/曼达洛人/'+str(i)+'集'+'.mp4', 'wb')as f:
        f.write(re)
    print('曼达洛人第{}集下载完成'.format(i))
    print('开始下载下一集——————————————————————————————')
print('OVER！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！')
bro.close()