python高阶爬虫---视频类内容爬取，内含详细教程和代码实例

---

Author:qyan.li

Date:2022.6.23

Topic:python爬虫获取视频类内容

一、写在前面

​            ~~~~~~~~~~           最近放暑假，闲来无事，爬点东西来玩。这学期由于课程需要，多次用爬虫的技术来获取数据，但都是获取一些文字类的数据。突发奇想，自己想利用爬虫获取一些音视频类的数据。下面以某站和某影院为例，说明爬虫获取音视频的技术和方法。某站的视频爬取教程参考自某站视频(自己爬自己，哈哈哈),某影院的视频爬取以某站为启发，自己编写。代码仅供参考，不用做其他用途。

​            ~~~~~~~~~~           某站的视频爬取参考自某站，可根据索引连接对应至原视频教程，较为详细，因此不会作为本文讲解的重点，城市影院代码自己编写，其中存在自己的思考和尝试，因此会作为本文讲解的重点。

二、某站视频爬取

​            ~~~~~~~~~~           此处粘贴一下爬取某站站视频的源代码，方便大家参考借鉴：

# -*-coding = utf-8-*-

# Author:qyan.li
# Date:2022/6/20 11:48
# Topic:借助于python爬取某站视频（某站站资源）
# Reference:https://www.bilibili.com/video/BV1GF411c7dA?p=3&vd_source=98cb4eb5f0c21487fcbd999a5f430af1

import requests
import re
import json
import pprint
import subprocess

def askURL(url):

    head = {
            ## 此处设置防盗链：指明连接的请求来源于B站，合法
            'referer':
            'https://www.bilibili.com/',
            'user-agent':
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.124 Safari/537.36 Edg/102.0.1245.44'
    }
    response = requests.get(url = url,headers = head)
    return response

def getVideoInfo(response):
    ## 正则表达式：用于匹配获取音频和视频地址
    findUrl = re.compile('<script>window.__playinfo__=(.*?)</script>')
    VideoInfo = re.findall(findUrl,response.text)[0]
    ## 字符串转换为python的数据类型，便于后续操作
    jsonData = json.loads(VideoInfo)
    return jsonData

def download(jsonData):
    # print(type(jsonData))
    ## 解析获得音频和视频的url
    audioURL = jsonData['data']['dash']['audio'][0]['baseUrl']
    videoURL = jsonData['data']['dash']['video'][0]['baseUrl']
    print(audioURL)
    print(videoURL)

    ## 用于下载音频和视频信息
    audioContent = askURL(audioURL).content
    with open('./' + 'python教程' + '.mp3',mode = 'wb') as f:
        f.write(audioContent)
    videoContent = askURL(videoURL).content
    with open('./' + 'python教程' + '.mp4',mode = 'wb') as f:
        f.write(videoContent)

## 音视频合成参考：https://blog.csdn.net/weixin_43835542/article/details/109493050
## ffmpeg下载：https://blog.csdn.net/pythonlaodi/article/details/109222790
## 字符串前面加f：https://blog.csdn.net/qq_43463045/article/details/93890436
## (字符串中花括号中的部分可以正常的替换执行)
def audioAndVideo(audioFile,videoFile):
    outfile_name = './output.mp4'
    cmd = fr'F:\CommonApp\ffmpeg\bin\ffmpeg.exe -i {audioFile} -i {videoFile} -acodec copy -vcodec copy {outfile_name}'
    print(cmd)
    subprocess.call(cmd,shell=True)


def main():
    html = askURL(url = 'https://www.bilibili.com/video/BV1GF411c7dA')
    jsonData = getVideoInfo(html)
    ## pprint可以按照标准的方式打印字典，便于查阅
    pprint.pprint(jsonData)
    download(jsonData)
   	audioAndVideo(r'C:\Users\腻味\Desktop\VideoClawer\BiliBiliClawer\python教程.mp3',r'C:\Users\腻味\Desktop\VideoClawer\BiliBiliClawer\python教程.mp4')
    pass



if __name__ == '__main__':
    main()

爬虫代码小Tips：

1. head中不仅需要指明user-agent，还需要referer指明连接的请求来源于原网站，是合法的请求连接
2. 至于我们为什么知道playinfo中包含我们所需要的url信息，原视频中未提及，应该是经过无数次的尝试和探索，寻找到的视频和音频连接
3. playinfo中提取目标信息可能不具有普遍性，没有办法进行移植，但是download函数的编写和使用具有普遍性，可以通过此种方式完成借助于url下载所需要的音视频内容
4. ffmpeg网络上称为音视频处理鼻祖级的存在，可以学习一下，方便后期的音视频处理使用

三、某影院爬取

​            ~~~~~~~~~~           上面主要内容在于某站视频爬取，下面我们将以某影院为例，借用上述某站爬取代码思想爬取某影院电影。首先说明：下面的代码并非完整的爬虫代码，但可以保证获取到电影的音视频并且下载至本地。老样子，还是先上代码方便大家参考借鉴：

## Author:qyan.li
## Date:2022.6.22
## Topic:借助于python爬取某影院电影视频

import requests
import re
import os
import subprocess

def askURL(url):

    head = {
            ## 此处设置防盗链：指明连接的请求来源于B站，合法
            'referer':
            'https://www.citydy.com/',
            'user-agent':
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.124 Safari/537.36 Edg/102.0.1245.44'
    }
    response = requests.get(url = url,headers = head)
    return response


def readFile(filePath = ''):
    with open(filePath,'r') as f:
        urlString = f.readlines()
    urlLst = [string.strip('\n') for string in urlString if 'https' in string]
    return urlLst

def VideoClawer(urlLst):
    with open('./全球风暴.mp4',mode = 'ab') as f:
        for i in range(len(urlLst)):
            videoContent = askURL(urlLst[i]).content
            f.write(videoContent)
            print(i)

if __name__ == '__main__':
    content = readFile(filePath = './全球风暴.m3u8')
    VideoClawer(content)

通过观察代码可以发现：

某影院视频爬取的思路与某站爬取类似，都是找到视频链接url，而后通过下载链接内容存入指定文件中实现（实际上，这种操作和思想本身借鉴于某站视频资源的爬取），但是区别体现在：

• 某影院音视频合并不分离，因此不需要分别下载音视频文件，而后再进行合并
• 某影院寻找m3u8文件，内含切片视频的链接，按照链接次序下载即可（有关m3u8文件的说明，可自行检索查询）

---

​            ~~~~~~~~~~           下面我们开始主要说明m3u8文件的获取及解析，首先简单提一下m3u8文件，在视频播放时，为保证视频播放的流畅度，可以将一大段视频进行切片，形成若干的ts视频切片文件，视频播放时，按照顺序一段段播放ts文件即可，而m3u8文件即是存放ts文件的索引文件，其中包含切片视频文件ts的下载url，我们仅需要按照这些url下载对应的视频内容即可。

我们以爬取某影院的全球风暴电影为例进行说明：

1. 首先进入至某影院，搜索全球风暴，打开电影播放界面，按下F12打开网络源码，点击网络(network)，ctrl+R刷新界面：
   

2. 点击大小，将界面中请求按照从大到小的顺序排列，找到类型为xhr，文件大小最大的请求（图中红线标注的位置）

3. 点击此词条对应的名称进入，复制请求url(图中红线标注的位置)，至浏览器搜索框进行下载

4. 下载完成后获得m3u8文件

关于m3u8文件的小Tips:

• 其他音视频均可按照此方式查找并手动下载m3u8文件
• m3u8文件下载时，如界面提示403 forbidden,可按照上述方式重新操作下载即可

---

​            ~~~~~~~~~~           上面主要讲述如何从浏览器界面中获取m3u8文件，下面我们聚焦于m3u8文件的解析：

• 打开下载完成的m3u8文件

其中红线标注的部分即为上面提到的切片视频的url链接，我们仅需要根据此链接下载视频内容即可，但是注意下载下仅为原视频的一段，大概也就10s左右

• 提取链接，下载视频

  1. 首先提取出m3u8文件中所有的url链接(判断的方式是当前行中是否包含https字段)

     with open(filePath,'r') as f:
         urlString = f.readlines()
     urlLst = [string.strip('\n') for string in urlString if 'https' in string]
     

  2. 根据提取到的url下载视频内容

     with open('./全球风暴.mp4',mode = 'ab') as f:
         for i in range(len(urlLst)):
             videoContent = askURL(urlLst[i]).content
             f.write(videoContent)
             print(i)
     

     小Tips：

     1. 以二进制追加的形式打开，因为提取一段段视频至一个mp4文件中，必须以追加的形式写入(a)，同时以二进制形式操作文件(b)
     2. print(i)是为观察视频下载进度设置
     3. 自己曾尝试将每个url都保存为一个mp4小文件，可以但是后续视频合并较为繁琐且难以操作，因此没有特殊需求不建议使用此方法

  3. 执行完上述操作，没有其他问题的情况下，应该可以成功下载视频

---

​            ~~~~~~~~~~           最后大家可以回到下载m3u8的界面，点击播放按钮播放电影，可以观察右侧请求的变化：

​            ~~~~~~~~~~           在视频的播放过程中，可以看到，在m3u8文件下载链接的上方大概每隔几秒就会重新出现一个xhr，这个其实就是一个个的切片视频，大家如果感兴趣，可以按照此链接进行视频下载，可以获得某一段视频文件。实际上这个和我们m3u8文件中的链接是等价的，视频播放过程也侧面印证这一点。