【FFMPEG】 -filter_complex 的个人理解 以及 ffmpeg命令行操作时需要注意的点

背景

  因工作原因，需要使用ffmpeg对视频进行加工处理。其间用到了ffmpeg命令行参数 -filter_complex 。这个选项功能很强大，但是网上对其的讲解很少。遂自己实验了一番，将结果记录下来，以免忘却

filter_complex

  其实可以从名字看出来，他是一个过滤器，熟悉ffmpeg的人应该都知道ffmpeg的filter很强大。它即是作为ffmpeg的filter的命令行选项。
  下面命令行的作用时，拼接两个视频，一个视频为17秒，一个视频为4秒，将其拼接为视频会议模式（即一个视频源始终存在，另一个视频源在10秒后接入，持续4秒后挂断）期间第二个视频源位置为黑屏

ffmpeg -y -i C:\Users\Li\Desktop\rtc-1000008.webm -i C:\Users\Li\Desktop\rtc-1000009.webm 
-filter_complex  
"color=color=Black:size=1280x480:d=17.625,format=pix_fmts=yuv420p[bg];
color=color=Black:size=640x480:d=17.625,format=pix_fmts=yuv420p[n0-0-bg];
movie='C\:/Users/Li/Desktop/rtc-1000008.webm':stream_index=0,scale=w='iw*min(640/iw,480/ih)':h='ih*min(640/iw,480/ih)'[n0-0-fg];
[n0-0-bg][n0-0-fg]overlay=x=(W-w)/2:y=(H-h)/2[n0-0];
[n0-0]concat=n=1:v=1:a=0[s-0-0];
color=color=Black:size=640x480:d=10.343,fifo[s-0-1-hd];
color=color=Black:size=640x480:d=4.279,format=pix_fmts=yuv420p[n1-0-bg];
movie='C\:/Users/Li/Desktop/rtc-1000009.webm':stream_index=0,scale=w='iw*min(640/iw,480/ih)':h='ih*min(640/iw,480/ih)'[n1-0-fg];
[n1-0-bg][n1-0-fg]overlay=x=(W-w)/2:y=(H-h)/2[n1-0];
[n1-0]concat=n=1:v=1:a=0[s-0-1-bd];[s-0-1-hd][s-0-1-bd]concat,fifo[s-0-1];
[bg][s-0-0]overlay=x='0+(640-w)/2':y='0+(480-h)/2':eof_action=pass[bg+s-0-0];
[bg+s-0-0][s-0-1]overlay=x='640+(640-w)/2':y='0+(480-h)/2':eof_action=pass" 
-filter_complex 
"aevalsrc=0|0:d=0.0[a0b];[0:1]aresample=48000:async=1,afifo[a0-s0];[a0-s0]anull[a0m];aevalsrc=0|0:d=0.0[a0e];[a0b][a0m][a0e]concat=n=3:v=0:a=1,afifo[a0];aevalsrc=0|0:d=10.343[a1b];[1:1]aresample=48000:async=1,afifo[a1-s0];[a1-s0]anull[a1m];aevalsrc=0|0:d=3.3[a1e];[a1b][a1m][a1e]concat=n=3:v=0:a=1,afifo[a1];[a0][a1]amerge,pan=stereo|c0<c0+c1|c1<c2+c3,dynaudnorm=n=0:g=15:r=1.0"
 -c:v libx264 -preset superfast -crf 28 -r 15 -movflags +faststart -c:a aac C:\Users\Li\Desktop\20190624180636-000000004.mp4

期间

  每一个 -i [input]都作为一个输入流，在filter_-i image1.png//第一个水印图片中为 [0:v] [1:v] [2:v]…
对于 -i 与 [0:v][1:v]… 的解释 通过下面加水印的例子可以清楚：

ffmpeg -i input.mp4 -i image1.png -i image2.png -filter_complex [1:v]scale=100:100[img1];[2:v]scale=1280:720[img2];[0:v][img1]overlay=(main_w-overlay_w)/2:(main_h-overlay_h)/2[bkg];[bkg][img2]overlay=0:0 -y output.mp4
：
我们把他拆开，其实他由以下部分组成：
//1.起始
ffmpeg
//2.输入
-i input.mp4//这个是原始文件
-i image1.png//第一个水印图片
-i image2.png//第二个水印图片
//3.滤镜
-filter_complex [1:v]scale=100:100[img1];[2:v]scale=1280:720[img2];[0:v][img1]overlay=(main_w-overlay_w)/2:(main_h-overlay_h)/2[bkg];[bkg][img2]overlay=0:0
//4.输出
-y output.mp4//输出文件
:
1、2、4部分的含义一目了然。3里头的scale和overlay也是字面的意思，不难理解。然而，-filter_complex滤镜的参数结构就不是那么好理解了，比如说那一坨[]里头的东西是什么鬼？
来，一个个解释。
[1:v]这个里头两个参数，1表示的是操作对象的编号。在本例中0就是原始视频文件input.mp4，1就是image1.png，2就是image2.png，3就是output.mp4。而另一个参数v表示操作对象里的视频信息。
[img1]是这个操作过滤器的名字。（当然名字可以随便起）
所以这头一句[1:v]scale=100:100[img1]的意思就是对图片imagei.png进行调节尺寸的操作，并将这个操作的结果命名为img1。后面的[2:v]和[img2]也是一个意思。
我们继续，overlay前面[0:v][img1]凑一起是什么意思呢。0自然就是指的原始视频，这句的意思就是将[img1]叠加到0对象的视频上。本例中就是把image1.png叠加到input.mp4上。这里需要注意的就是顺序：后一个对象叠加到前一个上，后一个对象在上层。如果写成[img1][0:v]，那相对本例其实就是把视频叠加到图片imge1.png上。这样的话一般来说由于视频通常是全屏，等于用视频覆盖了图片，水印完全看不到了。
好，我们又把这个操作的结果命名为[bkg]，那么接下来[bkg][img2]的意思就很明了了。就是把image2.png再叠加上去，image2.png是在最上层的，如果位置重合的话，他会遮盖 image1.png的水印。
于是，事就这样成了。

NOTE

  在对封装格式的视频处理后，一定指明音频怎么处理，否则ffmpeg报错

Cannot find a matching stream for unlabeled input pad 0 on filter
Parsed_drawtext_4

下面时正确的操作：

ffmpeg -i input.mp4 -filter_complex “movie=input.mp4:stream_index=0,scale=1280:480[ss];drawtext=fontfile=simhei.ttf:x=650:y=10:fontsize=24:text=‘easemob’:fontcolor=yellow:enable=‘between(t,10.343,14.622)’,scale=1280:480[a];[a]drawtext=fontfile=simhei.ttf:x=10:y=10:fontsize=24:text=‘easemob’:fontcolor=yellow,scale=1280:480[b];[ss][b]overlay=0:0” -c:v libx264 -preset superfast -crf 28 -r 15 -movflags +faststart -c:a aac -y C:\Users\Li\Desktop\20190624180636-000000005.mp4

使用filter_complex时，一定要保证多于两个视频或者音频源。否则不建议使用

filter_complex [ color ]

• color 是一种幕布，可以作为一个视频源，在文章一开始给的例子中，就作为一个视频源使用，它可以通过 d 参数设定它的持续时间。
• movie 导入视频源，可以视频视频或者图片作为视频源。
• overlay 叠加视频，可以指定叠加视频的相对位置
• concat 拼接视频，可以将视频进行拼接
• fifo 队列，用于排列视频，与concat 一同使用