rtsp流转为fmp4并由WebSocket网关转发，及对应js播放器

RTSP流的WebSocket与MSE播放方案

最新推荐文章于 2025-08-29 15:17:45 发布

garefield

最新推荐文章于 2025-08-29 15:17:45 发布

阅读量4.7k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：音视频

本文链接：https://blog.csdn.net/garefield/article/details/105510485

web端是无法直接播放rtsp流的，目前常用的解决方案是如jsmpeg、flv.js等。这些方案都是要推送流到服务端，之后才能在web上播放视频，相对比较麻烦。我采用websocket结合mse的方式，实现了一个websocket网关，及其对应的js播放器，在这里做下说明，具体代码参考github上我的源码。

这套方案的原理是，ws网关在拉到rtsp流后，取得mime，将其发送给web端，然后将rtsp流转为fmp4格式，以二进制数据格式发给web端；web端用其初始化mse，然后将websocket收到的二进制数据扔给mse，实现视频的播放。

ws网关有两个关键的问题需要解决，一是封装成fmp4后，输出要到内存而不是文件，二是要能取得mime。如果以网上以回调函数作为ffmpeg输出的例子来写，会发现创建失败。mime对应的是编码类型，需要解析流才能得到，具体怎么解决这两个问题，看看下面的说明。

创建输出的AVFormatContext的代码：

if (avformat_alloc_output_context2(&Out_FormatContext, NULL, "mp4", NULL) < 0)
        return false;
    pb_Buf = (uint8_t*)av_malloc(sizeof(uint8_t)*(D_PB_BUF_SIZE));
    Out_FormatContext->pb = avio_alloc_context(pb_Buf, D_PB_BUF_SIZE,1,(void*)this,NULL,write_buffer,NULL);
    if (Out_FormatContext->pb == NULL)
    {
        avformat_free_context(Ou