FFmpeg 获取 rtsp rtmp 流

最新推荐文章于 2024-04-18 08:41:13 发布
最新推荐文章于 2024-04-18 08:41:13 发布
阅读量1.7k 收藏 6
点赞数
文章标签： ffmpeg java 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yinshipin007/article/details/130832247
版权

使用FFmpeg获取 rtsp/rtmp 流非常方便，将开发 rtsp/rtmp 客户端工作变的简单了许多。

将 rtsp/rtmp 流路径送入 avformat_open_input 函数进行打开动作，得到 AVFormatContext 封装格式上下文；

调用 avformat_find_stream_info 获取流的详细信息；

分别记录 rtsp/rtmp 流中的音频和视频流索引；

初始化视频解码器上下文，调用 avcodec_parameters_to_context 将流信息转移到视频解码器上下文中；

调用 avcodec_find_decoder 得到 AVCodec 视频解码器；

调用 avcodec_open2 打开视频解码器；

音频解码器的打开步骤和视频解码器类似；

初始化音频帧和视频帧，用于获取 rtsp/rtmp 流中的帧数据；

开启获取 rtsp/rtmp 流线程进行不断轮训获取数据；

不在使用的时候要关闭打开流时的各种“对象”。

先来看一下头文件，MediaHandler 类是用来处理 rtsp/rtmp流的封装处理类。

/**
 *    author : liuhongwei
 *    e-mail : 
 *    date   : 2021/6/8 18:17
 *    desc   : FFmpeg 多媒体处理，解复用
 *    version: 1.0
 */

#ifndef MEDIA_MEDIAHANDLER_H
#define MEDIA_MEDIAHANDLER_H

extern "C" {
//编码
#include "libavcodec/avcodec.h"
//封装格式处理
#include "libavformat/avformat.h"
#include "libavutil/imgutils.h"
}

#include <pthread.h>
#include <unistd.h>
#include "logger.h"

class MediaHandler {
public:
    MediaHandler();

    ~MediaHandler();

    void openStream(char *path, bool is_audio_disable);

    void closeStream();

    void readPacket();

    static void *_readPacket(void *self) {
        static_cast<MediaHandler *>(self)->readPacket();
        return nullptr;
    }

private:
    pthread_t demuxer_thread;
    pthread_mutex_t packet_data_cb_mutex;

    volatile bool is_stream_demuxer;

    AVFormatContext *pFormatCtx;
    AVCodecContext *pVideoCodecCtx;
    AVCodecContext *pAudioCodecCtx;

    int videoWidth;
    int videoHeight;

    int video_stream_idx;
    int audio_stream_idx;

    bool is_audio_disable;

    AVFrame *stream_video_frame;
    AVFrame *stream_audio_frame;
};


#endif //MEDIA_MEDIAHANDLER_H

下面是 rtsp/rtmp 流打开函数，packet_data_cb_mutex 是一个互斥体，用来保证回调数据接口和设置回调对象不产生竞争，此处代码已经删除了设置回调的接口，因此这个互斥体可以去除。由于业务删减，其实代码中的视频解码器相关代码均可删除。

void MediaHandler::openStream(char *path, bool is_audio) {
    pthread_mutex_init(&packet_data_cb_mutex, nullptr);

    is_audio_disable = is_audio;
    //封装格式上下文，统领全局的结构体，保存了视频文件封装格式的相关信息
    pFormatCtx = avformat_alloc_context();

    AVDictionary *options = nullptr;

    av_dict_set(&options, "buffer_size", "1024000", 0);
    av_dict_set(&options, "max_delay", "500000", 0);
    av_dict_set(&options, "stimeout", "3000000", 0);  //设置超时断开连接时间
    av_dict_set(&options, "rtsp_transport", "tcp", 0);  //如果以tcp方式打开将udp替换为tcp

    if (avformat_open_input(&pFormatCtx, path, nullptr, &options) != 0) {
        LOGE("Can not open video: %s", path);
        return;
    }

    if (avformat_find_stream_info(pFormatCtx, nullptr) < 0) {
        LOGE("Can not find video stream info");
        return;
    }

    //获取流的索引位置
    video_stream_idx = -1;
    audio_stream_idx = -1;

    LOGI("stream nums: %d", pFormatCtx->nb_streams);
    for (int i = 0; i < pFormatCtx->nb_streams; i++) {
        //流的类型
        AVMediaType stream_type = pFormatCtx->streams[i]->codecpar->codec_type;
        if (stream_type == AVMEDIA_TYPE_VIDEO) {
            video_stream_idx = i;
            LOGI("video_stream_idx=%d", video_stream_idx);
        } else if (stream_type == AVMEDIA_TYPE_AUDIO) {
            audio_stream_idx = i;
            LOGI("audio_stream_idx=%d", audio_stream_idx);
        }
    }

    if (video_stream_idx == -1) {
        LOGE("Can not find video stream");
        return;
    }

    if (audio_stream_idx == -1) {
        LOGE("Can not find video stream");
        return;
    }

    // 初始化视频解码器上下文
    pVideoCodecCtx = avcodec_alloc_context3(nullptr);
    avcodec_parameters_to_context(pVideoCodecCtx, pFormatCtx->streams[video_stream_idx]->codecpar);
    // 获取视频的宽高
    videoWidth = pFormatCtx->streams[video_stream_idx]->codecpar->width;
    videoHeight = pFormatCtx->streams[video_stream_idx]->codecpar->height;
    LOGI("videoWidth=%d videoHeight=%d\n", videoWidth, videoHeight);
    AVCodec *pVideoCodec = avcodec_find_decoder(pVideoCodecCtx->codec_id);

    if (pVideoCodec == nullptr) {
        LOGE("Can not find video decoder\n");
        return;
    }
    if (avcodec_open2(pVideoCodecCtx, pVideoCodec, nullptr) < 0) {
        LOGE("Video decoder can not open\n");
        return;
    }

    if (is_audio) {
        // 初始化音频解码器上下文
        pAudioCodecCtx = avcodec_alloc_context3(nullptr);
        avcodec_parameters_to_context(pAudioCodecCtx,
                                      pFormatCtx->streams[audio_stream_idx]->codecpar);
        AVCodec *pAudioCodec = avcodec_find_decoder(pAudioCodecCtx->codec_id);

        if (pAudioCodec == nullptr) {
            LOGE("Can not find audio decoder\n");
            return;
        }
        if (avcodec_open2(pAudioCodecCtx, pAudioCodec, nullptr) < 0) {
            LOGE("Audio decoder can not open\n");
            return;
        }
    }

    stream_video_frame = av_frame_alloc();
    stream_audio_frame = av_frame_alloc();

    is_stream_demuxer = true;
    
    pthread_create(&demuxer_thread, nullptr, &MediaHandler::_readPacket, (void *) this);
}

现在来重点看从数据流中获取数据包的方法 readPacket 具体实现。此处视频帧获取后是通过回调接口直接返回的，返回给了硬解码器去解码，相关代码已删除，音频处理如果开启则会直接进行解码处理，实际上视频解码处理流程也是类似的。

构建 AVPacket；

调用 av_read_frame 将数据包填充到 AVPacket；

根据流索引判断是音频流还是视频流；

视频流经过回调业务处理后，调用 av_packet_free 释放 AVPacket；

音频流数据包被 avcodec_send_packet 发送到音频解码器后释放 AVPacket，接着根据 avcodec_send_packet 返回值判断是否存在解码成功的音频帧，调用 avcodec_receive_frame 获取音频解码帧。

下一轮循环继续迭代。

void MediaHandler::readPacket() {
    while (is_stream_demuxer) {
        AVPacket *stream_packet = av_packet_alloc();
        //LOGI("%s 1 stream_packet=%p", __FUNCTION__, stream_packet);
        stream_packet->flags = 0;
        if (av_read_frame(pFormatCtx, stream_packet) >= 0) {
            int result;
            // 视频流
            if (video_stream_idx != -1 && stream_packet->stream_index == video_stream_idx) {
                pthread_mutex_lock(&packet_data_cb_mutex);
                //LOGI("PacketDataCallback->onDataArrived");
                pthread_mutex_unlock(&packet_data_cb_mutex);

                av_packet_free(&stream_packet);
                //LOGI("%s 2 v stream_packet=%p", __FUNCTION__, stream_packet);
            } else if (audio_stream_idx != -1 &&
                       stream_packet->stream_index == audio_stream_idx) {

                if (is_audio_disable) {
                    av_packet_free(&stream_packet);
                    //LOGI("%s 2 a stream_packet=%p", __FUNCTION__, stream_packet);
                    continue;
                }

                result = avcodec_send_packet(pAudioCodecCtx, stream_packet);
                av_packet_free(&stream_packet);
                if (result == AVERROR(EAGAIN) || result == AVERROR_EOF) {
                    continue;
                } else if (result < 0) {
                    LOGE("Error during decoding audio: avcodec_send_packet");
                    return;
                }
                //LOGI("decoding audio...");
                while (result >= 0) {
                    result = avcodec_receive_frame(pAudioCodecCtx, stream_audio_frame);
                    if (result == AVERROR(EAGAIN) || result == AVERROR_EOF) {
                        break;
                    } else if (result < 0) {
                        LOGE("Error during decoding audio: avcodec_receive_frame");
                        return;
                    }

                }
            } else {
                av_packet_free(&stream_packet);
            }

        } else {
            //当返回值小于0时，内部会进行缓存并释放，或者不进行缓存，由数据本身损坏或正常结束来决定。
            usleep(10 * 1000);
        }
    }
}

当 rtsp/rtmp 流不再使用的时候关闭并释放资源，防止内存泄漏和出现各种野指针bug。

  1. demuxer_thread 线程结束；
  2. 关闭视频解码器上下文，并释放其占用的内存空间；
  3. 关闭音频解码器上下文，并释放其占用的内存空间；
  4. 关闭封装格式上下文；
  5. 释放视频流帧；
  6. 释放音频流帧。
void MediaHandler::closeStream() {
    is_stream_demuxer = false;
    pthread_join(demuxer_thread, nullptr);
    pthread_mutex_destroy(&packet_data_cb_mutex);

    if (pVideoCodecCtx != nullptr) {
        avcodec_close(pVideoCodecCtx);
        avcodec_free_context(&pVideoCodecCtx);
        pVideoCodecCtx = nullptr;
    }

    if (pAudioCodecCtx != nullptr) {
        avcodec_close(pAudioCodecCtx);
        avcodec_free_context(&pAudioCodecCtx);
        pAudioCodecCtx = nullptr;
    }

    if (pFormatCtx != nullptr) {
        avformat_close_input(&pFormatCtx);
        pFormatCtx = nullptr;
    }

    if (stream_video_frame != nullptr) {
        av_frame_free(&stream_video_frame);
    }

    if (stream_audio_frame != nullptr) {
        av_frame_free(&stream_audio_frame);
    }
}

原文 FFmpeg 获取 rtsp rtmp 流

音视频开发老马
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
C++封装FFMPEG拉取RTSP的音视频流接口类
09-27
C++封装的FFMPEG拉取音视频接口类，调用简单，采用回调方式取数据，工程采用VS2015，希望对需要的人有帮助！
C# FFmpeg保存rtsp视频流到本地文件
11-15
C# 使用FFmpeg库保存rtsp视频流为本地文件，获取摄像头rtsp视频流地址可以参考我的另一个资源
QT+FFMPEG设计的流媒体播放器(播放rtsp+rtmp流).zip
06-21
这是QT+FFMPEG设计的流媒体播放器完整源码 1. 支持RTMP流播放 2. 支持RTSP流播放 3. 支持音频播放 4. 支持视频播放 编译器： MinGW 32位 QT版本: 5.12.6
RTSP 和 RTMP通过ffmpeg实现将本地摄像头推流到RTSP服务器_ffmpeg rtsp 推流 代码
最新发布
m0_60147147的博客
04-18 314
RTMP（Real Time Message Protocol 实时消息传递协议） 有 Adobe 公司提出，用来解决多媒体数据传输流的多路复用（Multiplexing）和分包（packetizing）的问题，优势在于低延迟，稳定性高，支持所有摄像头格式，浏览器加载 flash插件就可以直接播放。RTSP实时效果非常好，适合视频聊天，视频监控等方向。物联网设备选择RTSP：RTSP 通常内置在无人机或物联网软件中，从而可以访问视频源，它的好处之一是低延迟，确保视频中没有延迟，这对于无人机来说至关重要。
FFMPEG播放 RTSP、RTMP视频流
08-05
使用QT5.9.4+VS2015 用FFMPEG实现了RTSP、RTMP视频流，在url.ini文件里配置对应的RTSP或者RTMP流即可播放，实现无边框四周放大、缩小、拖动、右键关闭窗口功能
QT + ffmpeg 播放 rtsp,rtmp,udp视频流
08-05
vs2017+qt+ffmpeg 开发的视频播放工具，最简单的播放功能，可以播放rtsp流，rtmp流，udp流。
使用jrtplib发送和接收网络流（支持解码、播放）
01-15
基于jrtplib实现了RTP发送和接收功能，支持发送H264、PS、TS等文件流，接收端读取发送端发来的数据后，取Payload数据，通过FFmpeg分离、解码出视频，将RGB格式的视频在窗口中显示。该代码对应我博客上的一篇文章：https://blog.csdn.net/zhoubotong2012/article/details/86502327
基于FFmpeg进行rtsp推流及拉流（详细教程）
热门推荐
12-07 7万+
基于FFmpeg进行rtsp推流及拉流
FFmpeg进行rtsp推流
p2p音视频传输
10-25 1514
stream_loop 为循环读取视频源的次数，-1为无限循环；下载完成后，双击安装包文件，然后按照提示操作安装 FFmpeg。命令来检查是否安装成功。如果安装成功，将显示安装的版本号等信息。的版本号，表明 FFmpeg 已安装。否则，需要进行安装。官方网站，然后下载最新版本的 Windows 安装包。首先，打开终端（在 Windows 中是。下载对应编译好的文件直接运行就好。在安装完成后，可以再次运行。-re 为以流的方式读取；-f 为格式化输出到哪里；1.4 macOS系统。-i 为输入的文件；
ffmpeg 获取 rtsp 视频流
weixin_35756690的博客
12-29 2640
可以使用 ffmpeg 获取 rtsp 视频流。 要获取 rtsp 视频流，请使用以下命令： ffmpeg -irtsp://<address>:<port>/<path> -c copy <output_file> 其中，<address> 是视频服务器的 IP 地址或域名，<port> 是视频服务器的端口，<pat...
ffmpeg rtsp2rtmp
04-11
ffmpeg rtsp2rtmp
基于qt+ffmpeg设计的推流软件(支持rtsp.rtmp)(推流桌面与摄像头)
11-03
这是Qt设计的推流软件，核心全部由ffmpeg实现，QT只是做了个界面没有做其他重要的事情。如果要利用ffmpeg开发推流软件，这个一份必看的好东西。目前实现了桌面捕获、摄像头捕获推流，全部由ffmpeg的API实现。
0延时ffmpeg推流程序源码,0延时rtsp推流程序源码和超低延时rtsp,rtmp播放器
06-02
此源码由深圳市好游科技有限公司开发 主要展示了使用ffmpeg实现0延时rtsp,rtmp推流功能，以及flv视频流文件的存储 支持windows usb摄像机推流和linux嵌入式系统真实开发板的推流 深圳市好游科技同时提供超低延时(100-200毫秒)的rtsp,rtmp播放器 支持windows，安卓，苹果系统超低延时实时视频流播放 此源码还演示了使用好游科技的p2p sdk实现实时视频传输 更多视频推流和播放相关技术交流，欢迎加入qq群：384170753 深圳市好游科技有限公司致力于物联网云平台开发和p2p音视频传输技术的研发 公司拥有完全自主研发的P2P内网穿透系统和物联网解决方案 详细介绍请参见公司官方网站：www.haoyou456.com
利用ffmpeg实现RTSP，RTMP推流以及保存到本地录像文件
07-12
RTSP, RTMP协议推流， 以及保存到本地MP4，MKV录像文件。 如果要成功编译， 需要下载和编译ffmpeg库，libfdk-aac库，x264库。 编译这些库，非常耗时。如果懒得去编译， 可以直接使用已经编译好的stream_push.dll...
1-ffmpeg生成rtsp视频流，用VLC播放器播放-超详细操作
moneyxjj的博客
10-24 2396
利用ffmpeg和easydarwin服务器进行推流和拉流处理
FFmpeg 代码实现流媒体推流（RTSP）
m0_60259116的博客
07-18 1万+
FFmpeg 代码实现流媒体推流（RTSP）
RTSP 和 RTMP通过ffmpeg实现将本地摄像头推流到RTSP服务器
p2p音视频传输
10-24 7404
因为 m3u8的直播原理是将直播源不停的压缩成指定时长的ts文件（比如9秒，10秒一个ts文件）并同时实时更新m3u8文件里的列表以达到直播的效果。RTMP（Real Time Message Protocol 实时消息传递协议） 有 Adobe 公司提出，用来解决多媒体数据传输流的多路复用（Multiplexing）和分包（packetizing）的问题，优势在于低延迟，稳定性高，支持所有摄像头格式，浏览器加载 flash插件就可以直接播放。按现在的趋势，flashplayer是要逐渐被淘汰掉的。
利用ffmpeg实现rtmp推流直播
gqg_guan的博客
02-21 1万+
ffmpeg直播
FFmpeg rtsp转rtmp推流 c++代码
02-03
当然可以！以下是一个简单的示例代码，用于将RTSP流转发到RTMP服务器： ```cpp #include <iostream> #include <cstdlib> #include <cstring> #include <unistd.h> #include <libavformat/avformat.h> #include <libavutil/opt.h> int main(int argc, char* argv[]) { // 注册所有的FFmpeg组件 av_register_all(); // 创建输入上下文 AVFormatContext* inputContext = avformat_alloc_context(); // 打开RTSP流 if (avformat_open_input(&inputContext, "rtsp://your_rtsp_url", nullptr, nullptr) != 0) { std::cerr << "无法打开RTSP流" << std::endl; return -1; } // 查找流信息 if (avformat_find_stream_info(inputContext, nullptr) < 0) { std::cerr << "无法获取流信息" << std::endl; return -1; } // 创建输出上下文 AVFormatContext* outputContext = avformat_alloc_context(); // 设置输出格式为RTMP AVOutputFormat* outputFormat = av_guess_format("flv", nullptr, nullptr); outputContext->oformat = outputFormat; // 打开输出URL if (avio_open(&outputContext->pb, "rtmp://your_rtmp_url", AVIO_FLAG_WRITE) < 0) { std::cerr << "无法打开RTMP URL" << std::endl; return -1; } // 遍历输入流 for (unsigned int i = 0; i < inputContext->nb_streams; i++) { AVStream* inputStream = inputContext->streams[i]; AVStream* outputStream = avformat_new_stream(outputContext, inputStream->codec->codec); // 复制流参数 if (avcodec_copy_context(outputStream->codec, inputStream->codec) < 0) { std::cerr << "无法复制流参数" << std::endl; return -1; } outputStream->codec->codec_tag = 0; if (outputContext->oformat->flags & AVFMT_GLOBALHEADER) { outputStream->codec->flags |= AV_CODEC_FLAG_GLOBAL_HEADER; } } // 写入输出头部 if (avformat_write_header(outputContext, nullptr) < 0) { std::cerr << "无法写入输出头部" << std::endl; return -1; } // 转发流数据 AVPacket packet; while (av_read_frame(inputContext, &packet) >= 0) { AVStream* inputStream = inputContext->streams[packet.stream_index]; AVStream* outputStream = outputContext->streams[packet.stream_index]; // 设置时间基 av_packet_rescale_ts(&packet, inputStream->time_base, outputStream->time_base); packet.pos = -1; // 写入输出流 if (av_interleaved_write_frame(outputContext, &packet) < 0) { std::cerr << "无法写入输出流" << std::endl; break; } av_packet_unref(&packet); } // 写入输出尾部 av_write_trailer(outputContext); // 清理资源 avformat_close_input(&inputContext); avio_close(outputContext->pb); avformat_free_context(outputContext); return 0; } ``` 请注意，这只是一个简单的示例代码，用于演示如何使用FFmpeg将RTSP流转发到RTMP服务器。你需要根据自己的需求进行适当的修改和调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值