ffmepg滤镜

ffmpeg -hwaccel qsv -video_size 1920x1080 -pixel_format mjpeg -framerate 60 -c:v mjpeg_qsv -i /dev/video4 -vf “hwdownload,format=nv12” -pix_fmt yuv420p -f sdl -

代码实现：
1.get_format() 这个是QSV硬件解码时的回调函数，在这里初始化hw_frames_ctx, get_format会在解码时被调用。因此对滤镜的初始化init_filter()应在得到第一帧数据后调用。
2.hw_frames_ctx，需要按照要求把他们传给对应的filter

3.然后把GPU里的frame传给av_buffersrc_add_frame_flags，然后buffersrc滤镜就去hw_frames_ctx里拿数据了。

av_hwframe_ctx_create_derived（）可以用于为创建hwframe上下文

Allocate an AVHWFramesContext tied to a given device context.
AVBufferRef *av_hwframe_ctx_alloc(AVBufferRef *device_ctx);
AVBufferRef *hwframe_ctx = av_hwframe_ctx_alloc(codec_ctx->hw_device_ctx);

if (av_hwframe_ctx_init(hwframe_ctx) < 0) {
printf(“无法初始化硬件帧上下文\n”);
return -1;
}
// 创建硬件帧上下文
AVBufferRef *hwframe_ctx = av_hwframe_ctx_alloc(codec_ctx->hw_device_ctx);
if (!hwframe_ctx) {
printf(“无法创建硬件帧上下文\n”);
return -1;
}

// 设置硬件帧上下文参数
AVHWFramesContext *frames_ctx = (AVHWFramesContext *)hwframe_ctx->data;
frames_ctx->format = AV_PIX_FMT_VAAPI;
frames_ctx->sw_format = AV_PIX_FMT_NV12;
frames_ctx->width = codec_ctx->width;
frames_ctx->height = codec_ctx->height;

// 初始化硬件帧上下文
if (av_hwframe_ctx_init(hwframe_ctx) < 0) {
    printf("无法初始化硬件帧上下文\n");
    return -1;
}

./configure --list-filters
或者
ffmpeg -filters | grep qsv
查看所有支持的滤镜
查看单个滤镜支持的各种参数
ffmpeg -h filter=vpp_qsv
以上可知，qsv支持的滤镜分为两类，一类是overlay_qsv这样的滤镜，一类是在vpp_qsv中实现的滤镜合集。如果使用后者，需要加上合集名字如：vpp_qsv=format=uyvy422
ffmpeg -h filter=scale_qsv这个滤镜同样支持像素格式变换(+分辨率变换)
vpp_qsv还支持像素格式改变如下：

ffmpeg -init_hw_device qsv -hwaccel qsv -hwaccel_output_format qsv -c:v hevc_qsv -i 20240403134635_7410_SDI.ts -r 30 -filter_complex 'hwupload=extra_hw_frames=10[ov];[ov]vpp_qsv=format=uyvy422' -c:v h264 -y output.mp4

ffmpeg -init_hw_device qsv -c:v hevc_qsv -i "Tamako love story (2014).mkv" -c:v h264_qsv -b:v 5000000 -profile:v high -level 41 -an -sn -vsync -1 -start_at_zero -copyts -avoid_negative_ts 0 -filter_complex "[0:s]scale=1920x1080,hwupload=extra_hw_frames=64[sub];[0:v]hwupload=extra_hw_frames=64,vpp_qsv=w=1920:h=1080:format=nv12[base];[base][sub]overlay_qsv" -y output.mp4

ffmpeg -init_hw_device qsv -hwaccel qsv -hwaccel_output_format qsv -c:v h264_qsv -i juren-30s.mp4 -r 30 -i logo.png -filter_complex '[1:v]hwupload=extra_hw_frames=10[ov];[0:v][ov]overlay_qsv' -c:v h264_qsv -y output.mp4

tonemap_vaapi滤镜还支持色域bt709的转换

ffmpeg -hwaccel vaapi -hwaccel_output_format vaapi \
-vaapi_device /dev/dri/renderD128 -i HDR.mp4 -c:v h264_vaapi \
-b:v 8000000 -level 41 -profile:v high -an -sn \
-vf 'scale_vaapi=w=1920:h=1080,tonemap_vaapi=t=bt709:format=nv12' \
-y /tmp/SDR.mp4

视频按顺时针方向旋转90度
ffplay -vf transpose=1 -i juren-30s.mp4
ffplay -f lavfi -i testsrc -vf transpose=1

-f lavfi -i testsrc这个滤镜是ffmpeg给用户的一个测试使用的视频

视频水平翻转(左右翻转)
-vf hflip
实现慢速播放，声音速度是原始速度的50%
ffplay p629100.mp3 -af atempo=0.5

qsv的滤镜
ffmpeg -init_hw_device qsv=hw -filter_hw_device hw -f rawvideo -pix_fmt yuv420p -s:v 1920x1080 -i input.yuv -vf hwupload=extra_hw_frames=64,format=qsv -c:v h264_qsv -b:v 5M output.mp4
ffmpeg -hwaccel qsv -c:v hevc_qsv -load_plugin hevc_hw -i input.mp4 -vf hwdownload,format=p010 -pix_fmt p010le output.yuv
注意上条命令并不是滤镜加速，hwdownload的意思是从GPU的内存中把数据取到cpu来处理。
ffmpeg -hwaccel qsv -c:v h264_qsv -i input.mp4
-filter_complex “split=2[s1][s2]; [s1]scale_qsv=1280:720[o1];[s2]scale_qsv=960:540[o2]”
-map [o1] -c:v h264_qsv -b:v 3200k 3200a.mp4
-map [o2] -c:v h264_qsv -b:v 1750k 1750a.264

ffmpeg -hwaccel qsv -c:v hevc_qsv -i input.mp4 -vf ‘vpp_qsv=framerate=60,scale_qsv=w=1920:h=1080’ -c:v h264_qsv output.mp4
这里是qsv的vpp插件，它支持多种硬件滤镜，可以用一下命令查看：
ffmpeg -h filter=vpp_qsv
ffmpeg -hwaccel qsv -c:v hevc_qsv -i input.mp4 -vf ‘vpp_qsv=framerate=60,scale_qsv=w=1920:h=1080:format=rgb32,hwdownload,format=rgb32’ -f sdl -
可以看到在滤镜前没有hwdownload，说明是在解码后直接在GPU里做滤镜，做完滤镜之后才hwdownload到CPU（上面用sdl直接播出来，这里是nv12可以用这种方式来播放。）
ffmpeg -hwaccel qsv -c:v h264_qsv -i juren_nv12.mp4 -i zi_nv12.png -filter_complex “vpp_qsv=transpose=vflip” -c:v h264_qsv out.mp4

垂直翻转
ffmpeg -hwaccel qsv -c:v h264_qsv -i juren_nv12.mp4 -i zi_nv12.png -filter_complex “vpp_qsv=transpose=cclock” -c:v h264_qsv out.mp4
90度翻转，参数通过ffmpeg -h filter=vpp_qsv查看
ffmpeg -hwaccel qsv -c:v h264_qsv -i juren_nv12.mp4 -c:v -i h264_qsv juren_nv12_2.mp4 -filter_complex “[0:v][1:v]overlay_qsv[out]” -c:v h264_qsv output.mp4
ffmpeg -i juren_nv12_2_v.mp4 -i juren_640_nv12.mp4 -filter_complex overlay -c:v h264_qsv good_mark.mp4
ffmpeg -init_hw_device qsv -hwaccel qsv -hwaccel_output_format qsv -c:v h264_qsv -i juren-30s.mp4 -r 30 -i zi_nv12.png -filter_complex ‘[1:v]hwupload=extra_hw_frames=10[ov];[0:v][ov]overlay_qsv’ -c:v h264_qsv -y output.mp4 //OK
ffmpeg -init_hw_device qsv -hwaccel qsv -hwaccel_output_format qsv -c:v h264_qsv -i juren-30s.mp4 -r 30 -c:v h264_qsv -i juren_640_nv12_v.mp4 -filter_complex ‘[1:v]hwupload=extra_hw_frames=10[ov];[0:v][ov]overlay_qsv’ -c:v h264_qsv -y output.mp4 //OK
ffmpeg -hwaccel qsv -c:v h264_qsv -i juren-30s.mp4 -r 30 -c:v h264_qsv -i juren_640_nv12_v.mp4 -filter_complex ‘[1:v]hwupload=extra_hw_frames=10[ov];[0:v][ov]overlay_qsv’ -c:v h264_qsv -y output.mp4 //OK
以上命令参考
其中hwupload是把系统内存中的数据拷贝到GPU，不然会报如下错误：
[Parsed_overlay_qsv_0 @ 0x5598b9c04700] Mixing hardware and software pixel formats is not supported.
extra_hw_frames=10是设置内存池，不设置的话会报以下错误：
Intel QSV: “QSV requires a fixed frame pool size” message is given

ffmpeg -hwaccel qsv -c:v h264_qsv -i juren-30s.mp4 -filter_complex ‘movie=zi_nv12.png,hwupload=extra_hw_frames=10[ov];[0:v][ov]overlay_qsv’ -c:v h264_qsv -y outt.mp4 //OK
ffmpeg -hwaccel qsv -c:v h264_qsv -i juren-30s.mp4 -filter_complex ‘movie=juren_640_nv12_v.mp4,hwupload=extra_hw_frames=10[ov];[0:v][ov]overlay_qsv’ -c:v h264_qsv -y outt.mp4
注意用上面这种方式，movie带入的源将使用cpu解码。

overlay_qsv=x=30:y=30
https://trac.ffmpeg.org/wiki/Hardware/QuickSync
https://trac.ffmpeg.org/wiki/Hardware/VAAPI
https://ffmpeg-vip.xianwaizhiyin.net/api-ffmpeg/overlay.html
FFMPEG下利用Intel VPP_QSV插件实现基于GPU的图像缩放和色彩空间转换 （二） - C++代码实现

视频水印
1、右下角
ffmpeg -i in.mp4 -i logo.jpg -filter_complex ‘overlay=main_w-overlay_w-10:main_h-overlay_h-10’ out.mp4
1、 左下角
ffmpeg -i in.mp4 -i logo.jpg -filter_complex ‘overlay=x=10:y=main_h-overlay_h-10’ out.mp4

overlay=x=10:y=10 左上
overlay=x=main_w-overlay_w-10:y=10 右上
-filter_complex: 相比-vf, filter_complex适合开发复杂的滤镜功能，如同时对视频进行裁剪并旋转。参数之间使用逗号（，）隔开即可
main_w:视频宽度
overlay_w: 要添加的图片水印宽度
main_h : 视频高度
overlay_h:要添加的图片水印宽度

ffmpeg -i in.mp4 -vf "movie=logo.jpg[watermark];[in][watermark]
overlay=main_w-overlay_w-10:main_h-overlay_h-10[out] " output.mp4
logo.jpg: 要添加的水印图片地址
overlay:水印参数
main_w-overlay_w-10 : 水印在x轴的位置，也可以写成x=main_w-overlay_w-10
main_h-overlay_h-10：水印在y轴的位置

AVFilter主要是利用硬件的GPU实现Video Processor功能，其中包括vpp_qsv、overlay_qsv、hwupload_qsv，deinterlace_qsv，其中我们重点开发了overlay_qsv，vpp_qsv与hwupload_qsv。 如果在一个视频处理的pipeline中有多个VPP的实例运行，会对性能造成很大的影响。我们的方案是实现一个大的VPP Filter中集成所有功能并通过设置参数实现调用，避免了多个VPP的实例存在。但是为什么将vpp_qsv与overlay_qsv分开？这是因为无法在一个VPP实例中同时完成compositor和一些视频处理功能（像de-interlace等）。英特尔核芯显卡内显存中的存储格式为NV12， 和非硬件加速的模块联合工作时，需要对Frame Buffer进行从系统内存到显卡显存的复制过程，hwupload_qsv提供了在系统内存和显卡内存之间进行快速帧转换的功能。
————————————————
引用链接：https://blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/82892209

滤镜的语法：
三个单元，滤镜filter，滤镜链filterchain，滤镜图；-vf -af后可以接滤镜图，-filter_complex后也可以
滤镜之间用",“隔开，构成滤镜链，滤镜链条之间用”;“隔开，如果有隔开符号则滤镜图应该用”“引起来符合linux终端规范，构成路径图
一个滤镜如下：
[input_link_lable1][input_link_lable2]… filter_name=parameters [output_link_lable1][output_link_lable12]…
滤镜名前和参数后是链接标签列表，一个标签是一个输入或输出端口。标签是可选的，不填就是默认值。如果一个滤镜没有输出端，那么它默认连接到此滤镜链中，后面的第一个没有输入端的滤镜。
在一个滤镜中，“:“用于分割key=vlue对，比如：
：”分隔的key=value列表
ffplay -i good.mp4 -vf scale=iw/2:ih/2
在一个key=vlue对中，”:“用于分割vule值，比如：
ffplay -i good_scale.mp4 -vf fade=in:0:30
淡入视频的前30帧，这个滤镜有三个参数，他们之间用”:"隔开

//默认log在视频的左上角，在(0,0)位置
ffmpeg -i good_scale.mp4 -i mark.png -filter_complex overlay good_mark.mp4
//在右下角，以右下角为(0,0)，log在(-50,10)位置

ffmpeg -i good_scale.mp4 -i mark.png -filter_complex overlay=main_w-overlay_w-50:main_h-overlay_h-10 good_mark.mp4
其中main_w为视频的宽，overlay_w为log的宽

滤镜输入输出默认的方式：【引用文章】

ffmpeg -i A.avi -i C.mkv -i B.mp4 -filter_complex "overlay" out1.mp4 out2.srt

“-filter_complex” 选项指定了一个复杂 filtergraph，此 filtergraph 由单个视频滤镜 overlay 构成。overlay 滤镜需要两个视频输入，但此处并未为 overlay 滤镜指定输入，因此输入中的头两个有效视频流(A.avi 中的 stream 0 和 C.mkv 中的 stream0)会被作为 overlay 滤镜的输入。overlay 滤镜输出无标号，因此 overlay 滤镜的输出会被写入第一个输出文件 out1.mp4 中。输出时也可以用map指定，但注意一个流只能被指定到一个输出，不然出错，则命令不会输出任何文件。
如：

ffmpeg -i A.avi -i B.mp4 -i C.mkv -filter_complex "[1:v]hue=s=0,split=2[outv1][outv2];overlay;aresample" \
        -map '[outv1]' -an        out1.mp4 \
                                  out2.mkv \
        -map '[outv2]' -map 1:a:0 out3.mkv

hue滤镜用于调整视频的色调（hue）

ffplay -i good.mp4 -vf scale=640:360
ffplay -i good.mp4 -vf scale=iw/2:ih/2
一个滤镜图也可以只有一个滤镜链，一个滤镜链可以只包含一个滤镜，这种特例情况下，一个滤镜图只包含一个滤镜。
因此ffmpeg命令对滤镜的讨论为了方便不区分滤镜，滤镜链，滤镜图，而是只针对滤镜图(filtergraph)进行讨论。

针对简单的，也就是只有一个输入和输出的滤镜图，用-vf -af，官网如图，它的处理过程是线性的，执行完一个滤镜，再执行下一个滤镜。

针对复杂的，多个输入和输出滤镜图，用-filter_complex等价于lavfi，不同的滤镜图之间是可以同时进行的。

ffmpeg -h filter=overlay查看支持的像素格式，默认是yuv420：
yuv420 0 …FV…
yuv420p10 1 …FV…
yuv422 2 …FV…
yuv422p10 3 …FV…
yuv444 4 …FV…
rgb 5 …FV…
gbrp 6 …FV…
auto

https://ffmpeg.org/ffmpeg-filters.html
http://ffmpeg.org/ffmpeg.html#Filtering
https://zhuanlan.zhihu.com/p/595299940