linux ffmpeg 多路rtp画中画录制

1.需求

服务端rtp三路实时音视频流，stream#0作为底图，stream#1和stream#2作为画中画分布在左上角和右上角，三路音频混合。

2.问题

	问题	解决方法
1	三个sdp分别作为输入源时，-filter_complex滤镜无法正常读取三路音视频的输入流	升级ffmpeg到最新版本5.1.2
2	三个sdp分别作为输入源时，画面实时性很差，基本不同步	将三路音频流和三路视频流写到同一个sdp
3	三路1080视频解码并编码到一个输出文件cpu占用过高，画面糊了	https://developer.nvidia.com/video-encode-and-decode-gpu-support-matrix-new#collapseOne 查看nvidia显卡是否支持硬解和硬编，使用显卡的cuda硬件加速编码和解码
4	ffmpeg提示overlay_cuda不支持	升级ffmpeg到最新版本5.1.2，–enable-cuda-nvcc加入编译configure，单纯–enable-cuda编译不出xxx_cuda等滤镜
5	scale或者scale_cuda花屏	看下configure是否禁用了汇编，去掉–disable-yasm或者–disable-asm

3.最终

sdp：

o=- 0 0 IN IP4 127.0.0.1
s=FFmpeg
c=IN IP4 127.0.0.1
t=0 0
m=video 5004 RTP/AVP 96
a=rtpmap:96 VP8/90000
m=audio 5010 RTP/AVP 97
a=rtpmap:97 opus/48000/2
m=video 5006 RTP/AVP 96
a=rtpmap:96 VP8/90000
m=audio 5012 RTP/AVP 97
a=rtpmap:97 opus/48000/2
m=video 5008 RTP/AVP 96
a=rtpmap:96 VP8/90000
m=audio 5014 RTP/AVP 97
a=rtpmap:97 opus/48000/2

3路rtp音视频流vp8硬解，实现画中画效果，h264硬编：

ffmpeg  -hwaccel cuda -hwaccel_output_format cuda -protocol_whitelist "file,udp,rtp" -i testmul.sdp -filter_complex "
amix=inputs=3:duration=longest;
[0:v:1]scale_cuda=iw/3:ih/3[v1];
[0:v:2]scale_cuda=iw/3:ih/3[v2];
[0:v:0][v1]overlay_cuda=0:0[bkg1];
[bkg1][v2]overlay_cuda=main_w/3*2:0" -c:v h264_nvenc rtpout.mp4 -y

4.帮助

循环推流多路rtp，方便后续拉流
ffmpeg -re -stream_loop -1 -i philosophy.webm -an -vcodec copy -f rtp rtp://127.0.0.1:5004 -an -vcodec copy -f rtp rtp://127.0.0.1:5006 -an -vcodec copy -f rtp rtp://127.0.0.1:5008 -vn -acodec copy -f rtp rtp://127.0.0.1:5010 -vn -acodec copy -f rtp rtp://127.0.0.1:5012 -vn -acodec copy -f rtp rtp://127.0.0.1:5014