ffmpeg与requests结合使用爬取视频

基本步骤是利用requests模块经过路径解析后获取播放地址，然后通过ffmpeg工具进行转码保存。

注：“https://jx.618g.com/?url=”是一个可进行免费解析的网站

准备过程

从官网下载ffmpeg文件，保存到本地，无需安装:

Windows下安装FFMPEG，下载之后需要配置环境变量
FFmpeg是一套用来记录、转换数字音频、视频的计算机开源程序。他提供了录制、转换以及流化音视频的完整解决方案。
包含了非常先进的音频/视频编码解码库libavodec
第一：下载FFMpeg----https://ffmpeg.zeranoe.com/builds/, 自行选择自己需要的多少位的静态程序
第二：解压到指定文件夹下—d:/ffmpeg
第三：添加到环境变量：d:/ffmpeg/bin
第四：查看FFmpeg版本信息—ffmpeg -version，如果有显示版本说明配置成功

Linux下安装FFmpeg
第一步：下载ffmpeg:http://ffmpeg.org/releases/ffmpeg-3.4.1.tar.bz2
第二步：解压FFMPEG===tar -jxvf ffmpeg-3.4.1.tar.bz2
第三步：cd ffmpeg-3.4.1
第四步：安装yasm ----yum install yasm
第五步：./configure --enabled-shared --prefix=/usr/local/ffmpeg
第六步：安装：make && make install
第七步：修改文件/etc/ld.so.conf 中增加/usr/local/ffmpeg/lib.
使其生效：ldconfig
第八步：加入环境变量：vi /etc/profile
最后一行：export FFMPEG_HOME=/usr/local/ffmpeg
export PATH=$FFMPE{G}_{H}OME/bin:$PATH
使环境变量生效：source /etc/profile

下面进入爬取的步骤：
1.直接获取目标网页的地址进行请求即可，但是要在url前添加https://jx.618g.com/?url=
见下图：

2.运行程序之后，会在输出台看到目标服务器返回的文本内容，我们需要截取的是以m3u8结尾的链接，
如果要爬取多个视频，可以考虑使用正则或xpath进行提取，单个视频直接复制即可

3.现在我们已经拿到了视频的播放链接，ffmpeg也已经配置完毕。
需要完成爬取只需最后一步：
打开终端，在终端中输入

ffmpeg -i "上一步复制的视频播放链接(一定是m3u8格式的)" -vcodec copy -acodec copy 视频名称.mp4

耐心等待即可。

另外，如果想要批量爬取，可以在批量获取了视频播放链接后，加入到下面的代码块中（以腾讯视频为例）：

import requests,os
from lxml import etree
base_url_list=['https://jx.618g.com/?url=https://v.qq.com/x/cover/xyne4253g35nak3.html']
for url in base_url_list:
    response=requests.get(url)
    contents = response.text
    contents_HTML = etree.HTML(contents)
    frame_url = contents_HTML.xpath(".//iframe[@id='player']/@src")[0].split("url=")
    # 获取播放链接
    player_url = frame_url[1]
    # 获取视频名称
    movie_name = contents_HTML.xpath(".//title/text()")[0]
    # 终端中执行命令进行转码与保存
    os.system(f"ffmpeg -i {player_url} -vcodec copy -acodec copy D:/movie/{movie_name}.avi")

附：

FFmpeg的使用（均需要在终端中进行）

1、视频转换格式----将test.avi格式的软件转换为test.mp4

  ffmpeg -i test.avi test.mp4

2、视频截图保存为图片

 ffmpeg -i inputfile.avi -r 1 -q:v 2 -f image2 image-%05d.jpg

-r:指定抽取的帧 即从视频中每秒抽取图片的数量 1代表每秒抽取一帧
-f:保存图片使用的格式 可省略
Image-%05d.jpg:指定文件的输出名字
3、截取与合并视频
截取：

ffmpeg  -i 0005.mp4 -vcodec copy -acodec copy -ss 00:00:00 -to 00:00:100 d:/cutout1.mp4 -y   -ss:指定从什么时候开始

-t:指定需要截取多长时间
-i:指定输入文件
截取视频如果出现时间点不对，出现这种情况的原因是因为截取到的地方不是关键帧，如果项目中对时间要求比较精确的话，需要先将视频将所有的帧提前转换关键帧----将所有的帧编码方式转变为帧内编码
具体操作：老版本：ffmpeg -i input -samep -intra output
-i：输入视频文件
-sameq ：保持同样的视频质量
-intra :帧内编码
output：输出文件名
新版本：ffmpeg -i inputfile -strict -2 -qscale 0 -intra output.mp4
合成：

ffmpeg -ss 00:00:00 -t 00:00:20 -i input.mp4 -vcodec copy output.mp4
ffmpeg -f concat -i list.txt -c copy concat.mp4

list.txt文件中的书写方式：

 file video1.mp4
 file video2.mp4  

4、给视频添加水印

ffmpeg -i xiaozheng.mp4 -i mark.png -filter_complex overlay test1.mp4  

给视频添加文字水印：

ffmpeg -i xiaozheng.mp4 -vf "drawtext=fontfile=simsunb.ttf: text='zhengqijia':x=100:y=10:fontsize=24:fontcolor=yellow:shadowy=2" drawtext.mp4

文字水印filter是drawtext simsunb.ttf:text=’zhengqijia’
x:y是显示位置
fontsize:文字大小
fontcolor:文字颜色
给视频添加图片水印：

ffmpeg -i input.mp4 -vf "movie=mark.png[watermark];[in][watermark] overlay=10:10[out]" output.mp4

http://ffmpeg.org/download.html（一样）
https://ffmpeg.zeranoe.com/builds/（推荐）