ffmpeg录制转发mediasoup的音视频流

最新推荐文章于 2024-10-11 16:29:05 发布
最新推荐文章于 2024-10-11 16:29:05 发布
阅读量1.9k 收藏 2
点赞数 4
分类专栏： mediasoup 文章标签： mediasoup ffmpeg 录制
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_15559817/article/details/119926206
版权

0.前言

在上一篇章讲述了，如何使用ffmpeg推送本地流到mediasoup（https://blog.csdn.net/qq_15559817/article/details/115698060?spm=1001.2014.3001.5501）
本章讲述下如何使用ffmpeg录制mediasoup产生的音视频rtp流

想要从mediasoup服务器拉流，主要通过调用demo提供的API接口，先加入房间然后创建rtp对应的消费者，然后根据Consumer的参数构造sdp文件，再使用ffmpeg进行拉取录制保存。

具体的操作实现过程都放在shell脚本里面，以及ffmpeg执行的命令。

1.通过ffmpeg消费mediasoup的音频流

拉取音频流的脚本如下，使用时需将SERVER_URL、ROOM_ID、PRODUCER_ID和MEDIA_FILE改成对应的数值

#!/usr/bin/env bash

SERVER_URL=https://192.168.12.90:15025
ROOM_ID=1dzuyv8o
PRODUCER_ID=0332cab6-9e28-4a4b-9563-90494b9d1aaf
MEDIA_FILE=./output/res_audio.opus

function show_usage()
{
	echo
	echo "USAGE"
	echo "-----"
	echo
	echo "  SERVER_URL=https://my.mediasoup-demo.org:4443 ROOM_ID=test PRODUCER_ID=c4a1ed8b-0d71-422d-a9c0-7fed44bf05bc"
	echo
	echo "  where:"
	echo "  - SERVER_URL is the URL of the mediasoup-demo API server"
	echo "  - ROOM_ID is the id of the mediasoup-demo room (it must exist in advance)"
	echo
	echo "REQUIREMENTS"
	echo "------------"
	echo
	echo "  - ffmpeg: stream audio and video (https://www.ffmpeg.org)"
	echo "  - httpiei: command line HTTP client (https://httpie.org)"
	echo "  - jq: command-line JSON processor (https://stedolan.github.io/jq)"
	echo
}

echo

if [ "$(command -v ffmpeg)" == "" ] ; then
	>&2 echo "ERROR: ffmpeg command not found, must install FFmpeg"
	show_usage
	exit 1
fi

if [ "$(command -v http)" == "" ] ; then
	>&2 echo "ERROR: http command not found, must install httpie"
	show_usage
	exit 1
fi

if [ "$(command -v jq)" == "" ] ; then
	>&2 echo "ERROR: jq command not found, must install jq"
	show_usage
	exit 1
fi

set -e

BROADCASTER_ID=$(LC_CTYPE=C tr -dc A-Za-z0-9 < /dev/urandom | fold -w ${1:-32} | head -n 1)
HTTPIE_COMMAND="http --check-status --verify=no"


#
# Verify that a room with id ROOM_ID does exist by sending a simlpe HTTP GET. If
# not abort since we are not allowed to initiate a room..
#
echo ">>> verifying that room '${ROOM_ID}' exists..."

res=$(${HTTPIE_COMMAND} \
	GET ${SERVER_URL}/rooms/${ROOM_ID} \
	2> /dev/null)

#
# Create a Broadcaster entity in the server by sending a POST with our metadata.
# Note that this is not related to mediasoup at all, but will become just a JS
# object in the Node.js application to hold our metadata and mediasoup Transports
# and Producers.
#
echo ">>> creating Broadcasters ..."

${HTTPIE_COMMAND} \
	POST ${SERVER_URL}/rooms/${ROOM_ID}/broadcasters \
	id="${BROADCASTER_ID}" \
	displayName="Broadcaster" \
	device:='{"name": "recorder"}' \
	rtpCapabilities:=${res} \
	> /dev/null

#
# Upon script termination delete the Broadcaster in the server by sending a
# HTTP DELETE.
#
trap 'echo ">>> script exited with status code $?"; ${HTTPIE_COMMAND} DELETE ${SERVER_URL}/rooms/${ROOM_ID}/broadcasters/${BROADCASTER_ID} > /dev/null' EXIT


#
# Create a PlainTransport in the mediasoup to pull  video using plain RTP
# over UDP. Do it via HTTP post specifying type:"plain" and comedia:false and
# rtcpMux:false.
#
echo ">>> creating mediasoup PlainTransport for consumer audio..."

res=$(${HTTPIE_COMMAND} \
	POST ${SERVER_URL}/rooms/${ROOM_ID}/broadcasters/${BROADCASTER_ID}/transports \
	type="plain" \
	comedia:=false \
	rtcpMux:=true \
	2> /dev/null)

#
# Parse JSON response into Shell variables and extract the PlainTransport id,
# IP, port and RTCP port.
#
eval "$(echo ${res} | jq -r '@sh "transportId=\(.id) transportIp=\(.ip) transportPort=\(.port) transportRtcpPort=\(.rtcpPort)"')"

# echo ${res}


echo ">>> PlainTransport Connect ..."

${HTTPIE_COMMAND} -v \
	POST ${SERVER_URL}/rooms/${ROOM_ID}/broadcasters/${BROADCASTER_ID}/transports/${transportId}/plainconnect \
	ip="127.0.0.1" \
	port:=30010 \
	rtcpport:=30011 \
	> /dev/null


echo ">>> creating mediasoup audio consumer..."

res1=$(${HTTPIE_COMMAND} \
	POST ${SERVER_URL}/rooms/${ROOM_ID}/broadcasters/${BROADCASTER_ID}/transports/${transportId}/consume?producerId=${PRODUCER_ID} \
		2> /dev/null)


# echo "creat consumer res :"
# echo ${res1}
eval "$(echo ${res1} | jq -r '@sh "consumeId=\(.id)"')"

echo ">>> resume ..."
# echo ${consumeId}

${HTTPIE_COMMAND} -v \
	POST ${SERVER_URL}/rooms/${ROOM_ID}/broadcasters/${BROADCASTER_ID}/consume/${consumeId}/resume \
		> /dev/null


echo ">>> running ffmpeg..."

ffmpeg -max_delay 5000 -reorder_queue_size 20000 -protocol_whitelist "file,udp,rtp" -i audio.sdp -acodec aac -y ./output/res_audio.aac
# ffmpeg -thread_queue_size 512 -protocol_whitelist "file,udp,rtp" -i audio.sdp -acodec copy -y ${MEDIA_FILE}
# ffmpeg -protocol_whitelist "file,udp,rtp" -i audio.sdp -acodec copy -f rtp_mpegts rtp://192.168.12.90:10000

audio.sdp文件内容如下：

v=0
o=- 0 0 IN IP4 127.0.0.1
s=ffmpeg
c=IN IP4 192.168.12.90
t=0 0
a=tool:libavformat 58.26.101
m=audio 30010 RTP/AVP 100
a=rtpmap:100 opus/48000/2
a=fmtp:100 sprop-stereo=1
a=sendonly

2.通过ffmpeg消费mediasoup的视频流

#!/usr/bin/env bash

SERVER_URL=https://192.168.12.90:15025
ROOM_ID=0fmkkzxl
PRODUCER_ID=c77e8b4b-98c7-4e20-b519-566053d79fad
MEDIA_FILE=./output/res_video.webm

function show_usage()
{
	echo
	echo "USAGE"
	echo "-----"
	echo
	echo "  SERVER_URL=https://my.mediasoup-demo.org:4443 ROOM_ID=test PRODUCER_ID=c4a1ed8b-0d71-422d-a9c0-7fed44bf05bc"
	echo
	echo "  where:"
	echo "  - SERVER_URL is the URL of the mediasoup-demo API server"
	echo "  - ROOM_ID is the id of the mediasoup-demo room (it must exist in advance)"
	echo
	echo "REQUIREMENTS"
	echo "------------"
	echo
	echo "  - ffmpeg: stream audio and video (https://www.ffmpeg.org)"
	echo "  - httpiei: command line HTTP client (https://httpie.org)"
	echo "  - jq: command-line JSON processor (https://stedolan.github.io/jq)"
	echo
}

echo


if [ "$(command -v ffmpeg)" == "" ] ; then
	>&2 echo "ERROR: ffmpeg command not found, must install FFmpeg"
	show_usage
	exit 1
fi

if [ "$(command -v http)" == "" ] ; then
	>&2 echo "ERROR: http command not found, must install httpie"
	show_usage
	exit 1
fi

if [ "$(command -v jq)" == "" ] ; then
	>&2 echo "ERROR: jq command not found, must install jq"
	show_usage
	exit 1
fi

set -e

BROADCASTER_ID=$(LC_CTYPE=C tr -dc A-Za-z0-9 < /dev/urandom | fold -w ${1:-32} | head -n 1)
HTTPIE_COMMAND="http --check-status --verify=no"
VIDEO_SSRC=128827720
VIDEO_PT=101


#
# Verify that a room with id ROOM_ID does exist by sending a simlpe HTTP GET.
# If not abort since we are not allowed to initiate a room..
#
echo ">>> verifying that room '${ROOM_ID}' exists..."

res=$(${HTTPIE_COMMAND} \
	GET ${SERVER_URL}/rooms/${ROOM_ID} \
	2> /dev/null)

#
# Create a Broadcaster entity in the server by sending a POST with our metadata.
# Note that this is not related to mediasoup at all, but will become just a JS
# object in the Node.js application to hold our metadata and mediasoup Transports
# and Producers.
#
echo ">>> creating Puller..."

${HTTPIE_COMMAND} \
	POST ${SERVER_URL}/rooms/${ROOM_ID}/broadcasters \
	id="${BROADCASTER_ID}" \
	displayName="Broadcaster" \
	device:='{"name": "recorder"}' \
	rtpCapabilities:=${res} \
	> /dev/null

#
# Upon script termination delete the Broadcaster in the server by sending a
# HTTP DELETE.
#
trap 'echo ">>> script exited with status code $?"; ${HTTPIE_COMMAND} DELETE ${SERVER_URL}/rooms/${ROOM_ID}/broadcasters/${BROADCASTER_ID} > /dev/null' EXIT

#
# Create a PlainTransport in the mediasoup to pull  video using plain RTP
# over UDP. Do it via HTTP post specifying type:"plain" and comedia:false and
# rtcpMux:false.
#
echo ">>> creating mediasoup PlainTransport for consumer video..."

res=$(${HTTPIE_COMMAND} \
	POST ${SERVER_URL}/rooms/${ROOM_ID}/broadcasters/${BROADCASTER_ID}/transports \
	type="plain" \
	comedia:=false \
	rtcpMux:=true \
	2> /dev/null)

#
# Parse JSON response into Shell variables and extract the PlainTransport id,
# IP, port and RTCP port.
#
eval "$(echo ${res} | jq -r '@sh "transportId=\(.id) transportIp=\(.ip) transportPort=\(.port) transportRtcpPort=\(.rtcpPort)"')"



echo ">>> PlainTransport Connect ..."

${HTTPIE_COMMAND} -v \
	POST ${SERVER_URL}/rooms/${ROOM_ID}/broadcasters/${BROADCASTER_ID}/transports/${transportId}/plainconnect \
	ip="127.0.0.1" \
	port:=30000 \
	rtcpport:=30001 \
	> /dev/null

#echo ${res}


echo ">>> creating mediasoup video consumer..."

res1=$(${HTTPIE_COMMAND} \
	POST ${SERVER_URL}/rooms/${ROOM_ID}/broadcasters/${BROADCASTER_ID}/transports/${transportId}/consume?producerId=${PRODUCER_ID} \
		2> /dev/null)

echo "creat consumer res :"
echo ${res1}
eval "$(echo ${res1} | jq -r '@sh "consumeId=\(.id)"')"

echo ">>> resume ..."
# echo ${consumeId}

${HTTPIE_COMMAND} -v \
	POST ${SERVER_URL}/rooms/${ROOM_ID}/broadcasters/${BROADCASTER_ID}/consume/${consumeId}/resume \
		> /dev/null


echo ">>> request keyFrame..."

${HTTPIE_COMMAND} -v \
	POST ${SERVER_URL}/rooms/${ROOM_ID}/broadcasters/${BROADCASTER_ID}/consume/${consumeId}/requestKeyFrame \
		> /dev/null



echo ">>> running ffmpeg..."

ffmpeg -thread_queue_size 1024 -protocol_whitelist "file,udp,rtp" -i video.sdp -vcodec copy -y ${MEDIA_FILE}
# ffmpeg -thread_queue_size 1024 -protocol_whitelist "file,udp,rtp" -i video.sdp -vcodec h264 -y output.mp4
# ffmpeg -protocol_whitelist "file,udp,rtp" -i video.sdp -vcodec copy -f rtp_mpegts rtp://192.168.12.90:10000

video.sdp的文件内容如下：

v=0
o=- 0 0 IN IP4 127.0.0.1
s=ffmpeg
c=IN IP4 192.168.12.90
t=0 0
m=video 30000 RTP/AVPF 101 102
a=rtpmap:101 VP8/90000
a=rtpmap:102 rtx/90000
a=fmtp:102 apt=101d
a=extmap:4 urn:3gpp:video-orientation
a=setup:active
a=mid:1
a=sendrecv

通过以上操作，便可以用ffmpeg通过dump下rtp流进行保存录制，也可以将rtp流转发到其他服务器。

orgotF
关注
专栏目录
【mediasoup-sfu-cpp】0：学习笔记：闫华：c++ mediasoup设计与实现
突围
01-06 1345
https://sh2022.livevideostack.cn/live/4987
【mediasoup】ffmpeg推拉流
突围
05-26 976
参考lee-jong/mideasoup_server 发送裸的rtp 流 要制定ssrc 音视频还是分开发送的 "[select=a:f=rtp:ssrc=${AUDIO_SSRC}:payload_type=${AUDIO_PT}]rtp://${transportIp}:${transportPort}|[select=v:f=rtp:ssrc=${VIDEO_SSRC}:payload_type=${VIDEO_PT}]rtp://${transportIp}:${transportPo..
基于mediasoup的多人视频录制方案
dixiaoxia的博客
03-22 798
网络延迟：多人视频录制涉及到网络传输，网络延迟可能会影响视频质量和录制效果。为此，可以使用WebRTC技术实现P2P传输，或者选择适合网络环境的编码格式和传输协议，以确保视频质量和传输效率。可以在服务器上配置Mediapipe插件，该插件可以将多个媒体流合并成单个媒体流，方便后续的录制和回放。录制媒体流：使用FFmpeg或其他录制软件，对mediasoup服务器上的合并媒体流进行录制。服务器负载：多人视频录制会带来较大的服务器负载，需要在服务器架构和配置上做出相应的优化和调整，以确保服务器的稳定性和性能。
基于ffmpeg实现多路rtsp拉流解码为yuv420p
最新发布
jcf5832的博客
10-11 1253
ffmpeg多路拉流解码功能实现
ffmpeg推流到mediasoup
orgotF的博客
04-14 2067
0、前言 mediasoup提供了PlainTransport可以接收裸RTP数据，可以通过ffmpeg.sh脚本推本地文件到mediasoup（ffmpeg.sh推流介绍脚本路径：mediasoup-demo/broadcasters/ffmpeg.sh） 1、PlainTransport 分析 ( mediasoup.version >= 3.5.0 ) PlainTransport 主要用于 RTP/RTCP （或者采用安全的srtp）以及 SCTP(DataChannel)的通讯连接。
mediasoup和ffmpeg对接音视频流
weixin_29405665的博客
01-04 3557
创建 producer: async createFFmpegProducer() { if(initFFmpegTransport) return; initFFmpegTransport = true; const audioTransport = await router.createPlainTransport( { listenIp : '0.0.0.0', rtcpMux : false, comedia :true } );
mediasoup录制命令和返回的json
wzw88486969的专栏
10-28 661
//get https://10.168.155.60:4443/rooms/7chpagjs { "codecs":[ { "kind":"audio", "mimeType":"audio/opus", "clockRate":48000, "channels":2, "rtcpFeedback":[ {
【网络通信 -- WebRTC】项目实战记录 -- 基于 MediaSoup 的 FFMPEG 接入
CopperSun 技术博客
11-09 651
【网络通信 -- WebRTC】项目实战记录 -- MediaSoup FFMPEG 推拉流 参考致谢 本博客为博主的学习实践总结，并参考了众多博主的博文，在此表示感谢，博主若有不足之处，请批评指正。 【1】ffmpeg推流到mediasoup 【2】mediasoup源码分析（十） ffmpeg推流到mediasoup 及调试 ...
FFmpeg 音视频录制和播放
lidoudoud的博客
06-01 256
视频录制可以指定帧率，录制设备，分辨率大小和输出名称。在录制前，需要确认本机的可用录制设备。输入如下命令即可查看。同时录制音频和视频需要指定输入设备即可。: 输入参数为空字符串，表示列出设备而不是开始录制。: 指定使用 avfoundation 输入设备。以上既是简单的 FFmpeg的音视频的录制和播放。录制音频前，同样我们需要确认设备支持的音频输入。加上视频文件，直接播放。文件，则需要指定播放的视频大小和像素格式。以上录制的只有视频，没有音频。
（音视频开发）WebRTC进阶流媒体服务器开发-多人互动架构
Linuxhus的博客
07-27 2563
一：多人互动架构方案 （一）WebRTC回顾，两层含义： 1.WebRTC是google开源的流媒体客户端，可以进行实时通讯，主要应用于浏览器之间进行实时通讯，也可以单独编译在自己的应用中 2.WebRTC也是一套规范，只对客户端做了定义，如何进行媒体协商、通信流程...;对于服务端，比如信令服务端、中继服务，并没有在WebRTC中定义，由厂商定义;对于多人互动方案也没有定义 （二）3种框架进行多人互动 Mesh方案：从WebRTC客户端演变过来，多人互动--->变为多个1V1通讯，
WebRTC[23]-Licode与Mediasoup的简单对比
liuzhen007的专栏
06-14 7435
Licode在自己的项目中已经运行两年了，整体比较稳定。使用过程中发现了它的几个缺点或者不足： 1.Licode本身不支持tcp链路传输音视频数据，但是Mediasoup是支持的。 2.Licode本身没有视频录制功能，需要我们单独开发录制模块。尽管Mediasoup也没有完全支持自动录制，但是它可以将媒体流路由到一个固定的IP地址，简单的利用其他工具就可以实现录制功能，比如利用ffmpeg，......
【OBS】FFmpe源和media处理
突围
12-06 431
FFmpe源和media处理 ffmepg source 是一个插件， 与deps的mediaplay 相关 ffmpeg source 常用插件 定义文件： D:\Code\obs-studio\plugins\obs-ffmpeg\obs-ffmpeg-source.c FFmpeg源 //定义一个源 struct obs_source_info ffmpeg_source = { .id = "ffmpeg_source", .type = OBS_SOURCE_TYPE_INPUT,
《流媒体服务器》专栏总览丨蓄力计划
liuzhen007的专栏
04-11 1279
音视频技术在实际应用场景中也需要客户端和服务器配合，和传统服务器不同，音视频需要依赖特定的流媒体服务器，其中涉及很多音视频特定的流程和处理逻辑。本专栏的目的就是带领大家一点点了解什么是流媒体服务器以及流媒体服务器的用途和作用。
各webrtc sfu对比
宝安小雨
07-05 3539
SIMcst 要上传三路分辨率 下行一路 声网用，一般用这个 SVC也有用的，zim，思科之类 分为核心层，扩展层，边缘层，有依赖关系，第一层码率很低也很模糊，同时它的分辨率也很小，每多来一层就更清晰一点，sfu发现接收端带宽不够就少发外层，再不够就再少发一层 两种方案不能混用licode 是mcu的优秀方案，官方规定只能在Ubuntu14.04上部署，或者docker环境。最好使用它官方的docker不然编译大把问题，但是docker本身也增加性能损耗 对licode二次开发比较困难 代码笨重 janus
ffmpeg拉流 mediasoup
wzw88486969的专栏
09-14 769
这里写自定义目录标题 code修改： diff --git a/server/lib/Room.js b/server/lib/Room.js index 1de62b0..9d22981 100644 --- a/server/lib/Room.js +++ b/server/lib/Room.js @@ -511,6 +511,41 @@ class Room extends EventEmitter await transport.connect({ dtlsParam
mediasoup3-record-demo:使用Mediasoup 3和GStreamer的简单记录演示
04-28
使用mediasoup 3和GStreamer / FFmpeg的简单视频/音频记录演示 介绍 使用Mediasoup和GStreamer的简单视频/音频记录应用程序 记录的文件存储在服务器的文件目录或用户设置的目录中（通过process.env.RECORD_FILE_LOCATION_PATH） 文件名只是当前的时间戳 该示例当前仅使用VP8 / opus，输出文件为.webm 如何使用 安装GStreamer # For Ubuntu sudo apt-get install libgstreamer1.0-0 gstreamer1.0-plugins-base gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-libav gstreamer1.0-d
如何使用ffmpeg向mediasoup推送文件并且使用ffmpeg录像webrtc
impingo的博客
12-15 5979
转载请注明出处：https://blog.csdn.net/impingo 项目地址：https://github.com/im-pingo/pingos 目录ffmpeg和mediasoup怎么配合ffmpeg推opus文件流ffmpeg拉取rtp流结论QQ交流群：697773082 ffmpeg和mediasoup怎么配合 最近在使用mediasoup做WebRTC服务器，个人认为medias...
mediasoup ffmpeg 推流
RenZuoym的博客
01-03 272
mediasoup ffmpeg 推流 一、编译ffmpeg 1.1 编译opus依赖 下载地址：https://www.opus-codec.org/downloads/ 编译命令： ./configure --with-pic --enable-float-approx make && make install 1.2 编译libvpx依赖 下载地址：https://github.com/webmproject/libvpx 编译命令： ./configure --enable-vp8
mediasoup-broadcaster-demo:mediasoup广播器演示（libmediasoupclient）
03-16
mediasoup广播器演示（libmediasoupclient v3） 基于的应用程序，可在 应用程序中向指定的房间生成人工声音和视频。 视频由一些向图像右下角移动的彩色矩形组成。 人工媒体创作的功劳归WEBRTC团队（ ）重视。 资源 mediasoup网站和文档： mediasoup支持论坛： 用法 安装完成后（请参见下面的安装）： SERVER_URL=https://my.mediasoup-demo.org:4443 ROOM_ID=broadcaster build/broadcaster 环境变量： SERVER_URL ：mediasoup-demo HTTP API服务器的URL（必需）。 ROOM_ID ：房间ID（必填）。 USE_SIMULCAST ：如果为“ false”，则不使用任何联播（默认为“ true”）。 ENABLE_AUDI
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

orgotF

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值