FFmpeg开发笔记（四十六）利用SRT协议构建手机APP的直播Demo

合集 - FFmpeg开发实战(53)

1.FFmpeg开发笔记（一）搭建Linux系统的开发环境2023-04-16 2.FFmpeg开发笔记（二）搭建Windows系统的开发环境2023-04-29 3.FFmpeg开发笔记（三）FFmpeg的可执行程序介绍03-09 4.FFmpeg开发笔记（四）FFmpeg的动态链接库介绍03-10 5.FFmpeg开发笔记（五）更新MSYS的密钥环03-16 6.FFmpeg开发笔记（六）如何访问Github下载FFmpeg源码03-17 7.FFmpeg开发笔记（九）Linux交叉编译Android的x265库03-30 8.FFmpeg开发笔记（十）Linux环境给FFmpeg集成vorbis和amr03-31 9.FFmpeg开发笔记（十一）Windows环境给FFmpeg集成vorbis和amr04-05 10.FFmpeg开发笔记（七）欧拉系统编译安装FFmpeg03-23 11.FFmpeg开发笔记（八）Linux交叉编译Android的FFmpeg库03-24 12.FFmpeg开发笔记（十二）Linux环境给FFmpeg集成libopus和libvpx04-06 13.FFmpeg开发笔记（十三）Windows环境给FFmpeg集成libopus和libvpx04-13 14.FFmpeg开发笔记（十四）FFmpeg音频重采样的缓存04-14 15.FFmpeg开发笔记（十五）详解MediaMTX的推拉流04-20 16.FFmpeg开发笔记（十六）Linux交叉编译Android的OpenSSL库04-21 17.FFmpeg开发笔记（十七）Windows环境给FFmpeg集成字幕库libass04-27 18.FFmpeg开发笔记（十八）FFmpeg兼容各种音频格式的播放05-04 19.FFmpeg开发笔记（十九）FFmpeg开启两个线程分别解码音视频05-05 20.FFmpeg开发笔记（二十）Linux环境给FFmpeg集成AVS3解码器05-12 21.FFmpeg开发笔记（二十一）Windows环境给FFmpeg集成AVS3解码器05-18 22.FFmpeg开发笔记（二十二）FFmpeg中SAR与DAR的显示宽高比05-19 23.FFmpeg开发笔记（二十三）使用OBS Studio开启RTMP直播推流05-26 24.FFmpeg开发笔记（二十四）Linux环境给FFmpeg集成AV1的编解码器05-27 25.FFmpeg开发笔记（二十五）Linux环境给FFmpeg集成libwebp06-01 26.FFmpeg开发笔记（二十六）Linux环境安装ZLMediaKit实现视频推流06-02 27.FFmpeg开发笔记（二十七）解决APP无法访问ZLMediaKit的直播链接问题06-08 28.FFmpeg开发笔记（二十八）Linux环境给FFmpeg集成libxvid06-09 29.FFmpeg开发笔记（二十九）Windows环境给FFmpeg集成libxvid06-15 30.FFmpeg开发笔记（三十）解析H.264码流中的SPS帧和PPS帧06-16 31.FFmpeg开发笔记（三十一）使用RTMP Streamer开启APP直播推流06-22 32.FFmpeg开发笔记（三十二）利用RTMP协议构建电脑与手机的直播Demo06-23 33.FFmpeg开发笔记（三十三）分析ZLMediaKit对H.264流的插帧操作06-29 34.FFmpeg开发笔记（三十四）Linux环境给FFmpeg集成libsrt和librist06-30 35.FFmpeg开发笔记（三十五）Windows环境给FFmpeg集成libsrt07-06 36.FFmpeg开发笔记（三十六）Linux环境安装SRS实现视频直播推流07-07 37.FFmpeg开发笔记全目录（FFmpeg开发实战详解，含直播系统的搭建过程）06-17 38.FFmpeg开发笔记（三十七）分析SRS对HLS协议里TS包的插帧操作07-13 39.FFmpeg开发笔记（三十八）APP如何访问SRS推流的RTMP直播地址07-14 40.FFmpeg开发笔记（三十九）给Visual Studio的C++工程集成FFmpeg07-20 41.FFmpeg开发笔记（四十）Nginx集成rtmp模块实现RTMP推拉流07-21 42.FFmpeg开发笔记（四十一）结合OBS与MediaMTX实现SRT直播推流07-27 43.FFmpeg开发笔记（四十二）使用ZLMediaKit开启SRT视频直播服务07-28 44.FFmpeg开发笔记（四十三）使用SRS开启SRT协议的视频直播服务08-03 45.FFmpeg开发笔记（四十四）毕业设计可做的几个拉满颜值的音视频APP08-04 46.FFmpeg开发笔记（四十五）使用SRT Streamer开启APP直播推流08-10

47. FFmpeg开发笔记 （四十六）利用SRT协议构建手机APP的直播Demo 08-11

48.FFmpeg开发笔记（四十七）寒冬下安卓程序员的几个技术转型发展方向08-17 49.FFmpeg开发笔记（四十八）从0开始搭建直播系统的开源软件架构08-18 50.FFmpeg开发笔记（四十九）助您在毕业设计中脱颖而出的几个流行APP08-31 51.FFmpeg开发笔记（五十）聊聊几种流媒体传输技术的前世今生09-01 52.FFmpeg开发笔记（五十一）适合学习研究的几个音视频开源框架09-07 53.FFmpeg开发笔记（五十二）移动端的国产视频播放器GSYVideoPlayer09-08

收起

​不管是传统互联网还是移动互联网，实时数据传输都是刚需，比如以QQ、微信为代表的即时通信工具，能够实时传输文本和图片。其中一对一的图文通信叫做私聊，多对多的图文通信叫做群聊。

除了常见的图文即时通信，还有实时音视频通信，比如一对一的音频通话、一对一的视频通话等等，此时可采用WebRTC技术，有关WebRTC的编程开发及其项目实战参见《Android Studio开发实战：从零基础到App上线(第3版)》的第20章“20.2  给App集成WebRTC”。
但是一对多的在线直播采用WebRTC技术就不太合适了，因为WebRTC只管打洞把双方的网络打通，不考虑综合负载。一旦连接WebRTC的设备多起来，整个WebRTC网络就会瘫痪。那么一对多的在线直播就要考虑部署独立的流媒体服务器，通过专门的流媒体传输协议，处理媒体源的音视频格式转换，以及音频流和视频流的数据分发工作。更多详细的FFmpeg开发知识参见《FFmpeg开发实战：从零基础到短视频上线》一书。

一、常见的四种流媒体传输协议对比

常见的流媒体传输协议主要有下面四类：RTSP协议、RTMP协议、SRT协议和RIST协议，关于这四种协议的详细说明参见之前的文章《利用RTMP协议构建电脑与手机的直播Demo》，这里不再赘述。
总的来说，虽然SRT协议出现时间较晚，但是它的直播质量大大优于RTMP协议，今后必将成为国内直播领域主流的流媒体协议。下面就以SRT协议为例，介绍如何通过OBS Studio和SRT Streamer向流媒体服务器做SRT直播推流。

二、电脑端通过OBS Studio进行SRT直播推流

首先启动电脑上的流媒体服务器MediaMTX，具体的操作步骤详见《FFmpeg开发实战：从零基础到短视频上线》一书的“10.2  FFmpeg推流和拉流”，也可参考之前的文章《详解MediaMTX的推拉流》。
接着启动电脑上的直播录制软件OBS Studio，具体的操作步骤详见之前的文章《结合OBS与MediaMTX实现SRT直播推流》。之后让OBS Studio对MediaMTX的srt地址“srt://127.0.0.1:8890?streamid=publish:live”推流，推流过程的OBS Studio录制界面如下图所示。

然后启动电脑上的流媒体播放器VLC media player，打开网络串流“srt://127.0.0.1:8890?streamid=read:live”，此时VLC media player的视频播放界面如下图所示。

结合OBS Studio的直播录制画面和VLC media player的直播观看界面，可知通过OBS Studio成功实现了SRT协议的直播功能。

三、手机端通过SRT Streamer进行SRT直播推流

首先启动云服务上的流媒体服务器SRS或者ZLMediaKit，在云服务器上部署和启动SRS或者ZLMediaKit比较麻烦，三言两语说不清楚。如果大家想弄明白如何在云服务器上操作SRS或者ZLMediaKit，可在京东自营购买《FFmpeg开发实战：从零基础到短视频上线》一书，联系作者咨询这两个流媒体服务器在云服务器上的详细运行过程。
接着启动手机上的直播录制软件SRT Streamer，具体的操作步骤详见之前的文章《使用SRT Streamer开启APP直播推流》。SRT Streamer启动后，点击屏幕下方的“Start Live”按钮，让SRT Streamer对ZLMediaKit的srt地址“srt://124.xxx.xxx.xxx:9000?streamid=#!::r=live/test,m=publish”推流，推流过程的SRT Streamer录制界面如下图所示。

观察华为云上的ZLMediaKit日志如下，可见SRT Streamer正在向后端的流媒体服务器推送直播流：

[MediaServer] [685314-event poller 0] SrtSession.cpp:103 onRecv | 1-11(223.104.51.155:11372) 
[MediaServer] [685314-event poller 0] SrtTransportImp.cpp:166 operator() | test(223.104.51.155:11372) 允许 srt 推流
[MediaServer] [685314-event poller 0] Decoder.cpp:143 onTrack | Got track: H264
[MediaServer] [685314-event poller 0] Decoder.cpp:143 onTrack | Got track: mpeg4-generic
[MediaServer] [685314-event poller 0] Decoder.cpp:97 onStream | Add track finished
[MediaServer] [685314-event poller 0] MediaSink.cpp:161 emitAllTrackReady | All track ready use 15ms
[MediaServer] [685314-event poller 0] MediaSource.cpp:517 emitEvent | 媒体注册:fmp4://__defaultVhost__/live/test
[MediaServer] [685314-event poller 0] MultiMediaSourceMuxer.cpp:551 onAllTrackReady | stream: schema://__defaultVhost__/app/stream , codec info: mpeg4-generic[44100/2/16] H264[720/1280/0] 
[MediaServer] [685314-event poller 0] MediaSource.cpp:517 emitEvent | 媒体注册:rtmp://__defaultVhost__/live/test
[MediaServer] [685314-event poller 0] MediaSource.cpp:517 emitEvent | 媒体注册:rtsp://__defaultVhost__/live/test
[MediaServer] [685314-event poller 0] MediaSource.cpp:517 emitEvent | 媒体注册:ts://__defaultVhost__/live/test
[MediaServer] [685314-event poller 0] MediaSource.cpp:517 emitEvent | 媒体注册:hls://__defaultVhost__/live/test

然后启动电脑上的流媒体播放器VLC media player，打开网络串流“srt://124.xxx.xxx.xxx:9000?streamid=#!::r=live/test,m=request”，此时VLC media player的视频播放界面如下图所示。

观察华为云上的ZLMediaKit日志如下，可见VLC media player正在从后端的流媒体服务器拉取直播流：

[MediaServer] [576478-event poller 0] SrtSession.cpp:103 onRecv | 2-16(112.5.138.145:57022) 
[MediaServer] [576478-event poller 0] SrtTransport.cpp:731 onShutdown | peer close connection
[MediaServer] [576478-event poller 0] SrtSession.cpp:118 onError | 2-16(112.5.138.145:57022) 6(peer close connection)
[MediaServer] [576478-event poller 0] SrtTransportImp.cpp:14 ~SrtTransportImp | test(112.5.138.145:57022) srt 播放器(__defaultVhost__/live/test)断开,耗时(s):16

结合SRT Streamer直播录制画面和VLC media player的直播观看界面，可知通过SRT Streamer成功实现了SRT协议的直播功能。

更多详细的FFmpeg开发知识参见《FFmpeg开发实战：从零基础到短视频上线》一书。​

原创作者: aqi00 转载于: https://www.cnblogs.com/aqi00/p/18328121