RK3568上如何使用MPP进行硬解码

已于 2024-02-07 18:45:27 修改
阅读量2.1k 收藏 35
点赞数 23
分类专栏： Linux 文章标签： linux
于 2024-01-03 11:17:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43211060/article/details/135359074
版权

目录

前言

需求：我这边遇到的需求是需要在RK3568上进行拉流处理，然后使用MPP进行硬解码，但目前解码解的还是比较繁琐一点，不过，没关系把。先记录下，自己后面如果有对这个东西进行重写，再进行详细描述即可。
主要内容：
1、FFmpeg 拉流处理。
2、RK3568 MPP处理。

正文

一、FFmpeg 拉流处理

code

bool CVideoDecodeThd::_AnalysisFile(const QString& _sFilePath)
{
#ifdef ARM
    LOG_INFO << "play video file : " << _sFilePath.toStdString();

    // 打开文件流读取文件头解析出视频信息如轨道信息、时长等
    // m_pFormatCtx初始化为NULL,如果打开成功,它会被设置成非NULL的值,在不需要的时候可以通过avcodec_free_context释放。
    // 这个方法实际可以打开多种来源的数据,url可以是本地路径、rtmp地址等
    // 在不需要的时候通过avformat_close_input关闭文件流
    if (avformat_open_input(&m_pFormatCtx, _sFilePath.toLatin1().data(), nullptr, nullptr) != 0)
    {
        LOG_ERROR << "can't open the file.";
        return false;
    }

    // 读取媒体文件的数据包以获取流信息
    if (avformat_find_stream_info(m_pFormatCtx, nullptr) < 0)
    {
        LOG_ERROR << "can't find stream infomation.";
        return false;
    }

    //查找视频轨道
    int iVideoStream = av_find_best_stream(m_pFormatCtx, AVMEDIA_TYPE_VIDEO, -1, -1, nullptr, 0);
    if (iVideoStream < 0)
    {
        LOG_ERROR << "can't find video stream";
        return false;
    }

    // 查找解码器
    AVCodecParameters *pCodecParame = m_pFormatCtx->streams[iVideoStream]->codecpar;
    if (!pCodecParame)
    {
        LOG_ERROR << "can't find AVCodecParameters";
        return false;
    }

    m_pCodec = (AVCodec *)avcodec_find_decoder(pCodecParame->codec_id);
    if (!m_pCodec)
    {
        LOG_ERROR << "Codec cant found, code id:" << pCodecParame->codec_id;
        return false;
    }

    m_pCodecCtx = avcodec_alloc_context3(m_pCodec);
    if (!m_pCodecCtx)
    {
        LOG_ERROR << "can't alloc codec context";
        return false;
    }

    if (avcodec_parameters_to_context(m_pCodecCtx, (const AVCodecParameters *)pCodecParame) < 0)
    {
        LOG_ERROR << "can't set codec params";
        avcodec_close(m_pCodecCtx);
        return false;
    }

    // 打开解码器
    if (avcodec_open2(m_pCodecCtx, m_pCodec, nullptr) < 0)
    {
        LOG_ERROR << "can't open codec.";
        avcodec_close(m_pCodecCtx);
        return false;
    }

    LOG_INFO << "the file video format is : " << m_pCodec->name;
    float fFrameRate = 0.0;
    if (m_pFormatCtx->streams[iVideoStream]->avg_frame_rate.den != 0 && m_pFormatCtx->streams[iVideoStream]->avg_frame_rate.num != 0)
    {
        fFrameRate = m_pFormatCtx->streams[iVideoStream]->avg_frame_rate.num * 1.0 /m_pFormatCtx->streams[iVideoStream]->avg_frame_rate.den;//每秒多少帧
        LOG_INFO << "Frame Rate : " << fFrameRate;
    }

    m_pFrame = av_frame_alloc();
    m_pFrameRGB = av_frame_alloc();

    m_pImageConvertCtx = sws_getContext(m_pCodecCtx->width, m_pCodecCtx->height,
                                        m_pCodecCtx->pix_fmt, m_pCodecCtx->width,
                                        m_pCodecCtx->height, AV_PIX_FMT_RGB32,
                                        SWS_BICUBIC, nullptr, nullptr, nullptr);
    int iNumBytes = av_image_get_buffer_size(AV_PIX_FMT_RGB32, m_pCodecCtx->width, m_pCodecCtx->height, 1);
    uint8_t *pOutBuffer = (uint8_t*)av_malloc(iNumBytes * sizeof(uint8_t));
    av_image_fill_arrays(m_pFrameRGB->data, m_pFrameRGB->linesize, pOutBuffer, AV_PIX_FMT_RGB32, m_pCodecCtx->width, m_pCodecCtx->height, 1);
    int iYsize = m_pCodecCtx->width * m_pCodecCtx->height;
    AVPacket * pPacket = av_packet_alloc();  ///< 分配一个packet内存
    av_new_packet(pPacket, iYsize);     ///< 分配一个packet的数据
    av_dump_format(m_pFormatCtx, 0, _sFilePath.toLatin1().data(), 0);   ///< 输出视频信息

    qint64 iStartTime = 0;
    while (m_bRunning)
    {
        if (0 == iStartTime)
        {
            iStartTime = QDateTime::currentDateTime().toMSecsSinceEpoch();
        }
        if (av_read_frame(m_pFormatCtx, pPacket) < 0)
        {
            emit SIGNAL_PlayEnd();
            break;      // 文件读取完成
        }
        while (!m_bPlay)
        {
            QThread::msleep(20);
            if (!m_bRunning)
            {
                break;
            }
        }

        if (pPacket->stream_index == iVideoStream)
        {
#ifdef MPP
        	int iRet = _DecodeAVPacket(pPacket);
#else
            int iRet =avcodec_send_packet(m_pCodecCtx, pPacket);
            if (0 == iRet)
            {
                while (avcodec_receive_frame(m_pCodecCtx, m_pFrame) >= 0)
                {
                    if (!m_bRunning || !m_bPlay)
                    {
                        break;
                    }
                    sws_scale(m_pImageConvertCtx, (uint8_t const* const*)m_pFrame->data,
                              m_pFrame->linesize, 0, m_pCodecCtx->height,
                              m_pFrameRGB->data, m_pFrameRGB->linesize);
                    QImage oImg ((uchar*) pOutBuffer, m_pCodecCtx->width, m_pCodecCtx->height, QImage::Format_RGB32);
                    QImage oTempImg = oImg.copy();
                    emit SIGNAL_NewFrame(oTempImg);
                    int iInternal = QDateTime::currentDateTime().toMSecsSinceEpoch() - iStartTime;
                    iStartTime = 0;
                    int iSleepMs = 1000 / fFrameRate - iInternal;
                    if (iSleepMs > 0)
                    {
                        msleep(iSleepMs);
                    }
                }
            }
            else
            {
                LOG_ERROR << "send packet fail : " << iRet;
            }
#endif
        }
        av_packet_unref(pPacket);
        //QThread::msleep(10);
    }

    QThread::msleep(500);   ///< 等待外界渲染完毕
    av_free(pOutBuffer);

    //回收数据包
    av_packet_free(&pPacket);

    //销毁帧
    av_frame_free(&m_pFrame);
    av_frame_free(&m_pFrameRGB);

    //销毁SwsContext
    sws_freeContext(m_pImageConvertCtx);

    //释放解码器
    avcodec_close(m_pCodecCtx);

    // 销毁AVFormatContext
    avformat_close_input(&m_pFormatCtx);

    LOG_INFO << "thread is finished";
    return true;
#else
    return true;
#endif
}

这个函数是关于拉流的函数，具体的拉流的比较详细的内容，在另一篇文章进行详细叙述。

二、RK3568 mpp硬解码

1、简介

瑞芯微提供的媒体处理软件平台（Media Process Platform，简称 MPP）是适用于瑞芯微芯片系列的
通用媒体处理软件平台。该平台对应用软件屏蔽了芯片相关的复杂底层处理，其目的是为了屏蔽不
同芯片的差异，为使用者提供统一的视频媒体处理接口（Media Process Interface，缩写 MPI）。MPP
提供的功能包括：
视频解码：
H.265 / H.264 / H.263 / VP9 / VP8 / MPEG-4 / MPEG-2 / MPEG-1 / VC1 / MJPEG
视频编码：
H.264 / VP8 / MJPEG
视频处理：
视频拷贝，缩放，色彩空间转换，场视频解交织（Deinterlace）

2、普通mpp解码流程

在这里插入图片描述

3、核心代码

上面mpp使用的地方在这里：
_DecodeAVPacket(pPacket);
基本就是拉流获取到AVPacket 包传入Mpp进行解码。
_InitMpp():

int CVideoDecodeThd::_InitMpp()
{
    LOG_INFO << "--> CVideoDecodeThd::_InitMpp Start";
    MPP_RET ret = mpp_create(&m_Ctx, &m_pMpi);

    if (MPP_OK != ret)
    {
        LOG_INFO << ("mpp_create error\n");
        return -1;
    }

    /**
     * 4. 配置解器
     *      - 解码文件需要 split 模式
     *      - 设置非阻塞模式，0非阻塞（默认），-1阻塞，+val 超时(ms)
     */
    RK_U32 need_split = -1;
    ret = m_pMpi->control(m_Ctx, MPP_DEC_SET_PARSER_SPLIT_MODE, (MppParam*)&need_split);

    if (MPP_OK != ret)
    {
        LOG_INFO << ("mpi->control error MPP_DEC_SET_PARSER_SPLIT_MODE\n");
        return -1;
    }

    ret = mpp_init(m_Ctx, MPP_CTX_DEC, MPP_VIDEO_CodingAVC);  // 固定为H264

    if (MPP_OK != ret)
    {
        LOG_INFO << ("mpp_init error\n");
        return -1;
    }
	//这个是为了后面测试使用的。真实使用不用。
    m_pOut_fp = fopen("/ics/test.yuv", "wb+");
    if (!m_pOut_fp)
    {
        LOG_INFO << ("fopen error\n");
        return -1;
    }
    LOG_INFO << "--> CVideoDecodeThd::_InitMpp End";
    return 0;
}

_DecodeAVPacket:

int CVideoDecodeThd::_DecodeAVPacket(AVPacket *_pPacket)
{
    LOG_INFO << "--> CVideoDecodeThd::_DecodeAVPacket Start";
    RK_U32 pkt_done = 0;
    MPP_RET ret = MPP_OK;
    MppPacket packet = NULL;
    MppFrame  frame  = NULL;
    LOG_INFO << "--->z CVideoDecodeThd::_DecodeAVPacket _pPacket size:"<<_pPacket->size;
    if (_pPacket->size <= 0)
    {
        LOG_INFO << "--> CVideoDecodeThd::_DecodeAVPacket _pPacket->size is:"<<_pPacket->size;
        return -1;
    }

    ret = mpp_packet_init(&packet, _pPacket->data, _pPacket->size);

    if(ret < 0)
    {
        LOG_INFO << "mpp_packet_init fail ret:"<<ret;
        return -1;
    }
    mpp_packet_set_pts(packet, _pPacket->pts);

    do{
        RK_S32 times = 5;
        // send the packet first if packet is not done
        if (!pkt_done)
        {
            LOG_INFO << "pkt remain:" << mpp_packet_get_length(packet);
            ret = m_pMpi->decode_put_packet(m_Ctx, packet);

            if (MPP_OK == ret)
            {
                LOG_INFO << "pkt send success remain:" << mpp_packet_get_length(packet);
                pkt_done = 1;
            }
        }

        // then get all available frame and release
        do {
try_again:
            ret = m_pMpi->decode_get_frame(m_Ctx, &frame);
            if (MPP_ERR_TIMEOUT == ret)
            {
                if (times > 0) {
                    times--;
                    msleep(2);
                    goto try_again;
                }
                qDebug() << "decode_get_frame failed too much time:" <<ret;
            }

            if (frame == NULL)
            {
                qDebug() << "get frame:"<<frame;
                return -1;
            }

            qDebug() << "get MPP_OK:" <<MPP_OK;
            qDebug() << "get ret:"<<ret;
            LOG_INFO << ("decode_get_frame success\n") <<"||"<<frame;
            dump_frame_to_file(m_Ctx, m_pMpi, frame, m_pOut_fp);

            if (mpp_frame_get_eos(frame))
            {
                LOG_INFO << ("mpp_frame_get_eos\n");
                mpp_frame_deinit(&frame);
                //                over = 1;
                continue;
            }
            mpp_frame_deinit(&frame);
            break;
        }while(1);
        msleep(3);
        break;
    }while(1);
    LOG_INFO << "--> CVideoDecodeThd::_DecodeAVPacket End";
    mpp_packet_deinit(&packet);
    return 1;
}

dump_frame_to_file:

void CVideoDecodeThd::dump_frame_to_file(MppCtx ctx, MppApi *mpi, MppFrame frame, FILE *out_fp)
{
    LOG_INFO << "decode_and_dump_to_file:" << frame;

    MPP_RET ret;

    if (mpp_frame_get_info_change(frame)) {
        LOG_INFO << ("mpp_frame_get_info_change\n");
        /**
             * 第一次解码会到这个分支，需要为解码器设置缓冲区.
             * 解码器缓冲区支持3种模式。参考【图像内存分配以及交互模式】Rockchip_Developer_Guide_MPP_CN.pdf
             * 这里使用纯内部模式。
             */
        ret = mpi->control(ctx, MPP_DEC_SET_INFO_CHANGE_READY, NULL);
        if (ret)
        {
            LOG_INFO << "mpp_frame_get_info_change mpi->control error"
                        "MPP_DEC_SET_INFO_CHANGE_READY %d\n" << ret;
        }
        return;
    }

    RK_U32 err_info = mpp_frame_get_errinfo(frame);
    RK_U32 discard = mpp_frame_get_discard(frame);
    LOG_INFO << "err_info: discard:\n"<< err_info<<"||"<<discard;

    if (err_info)
    {
        LOG_INFO << "--> CVideoDecodeThd::dump_frame_to_file err_info:"<<err_info;
        return;
    }

    // save
    dump_frame(frame, out_fp);
    return;
}

dump_frame:

void CVideoDecodeThd::dump_frame(MppFrame frame, FILE *out_fp)
{
    LOG_INFO << ("dump_frame_to_file\n");

    RK_U32 width    = 0;
    RK_U32 height   = 0;
    RK_U32 h_stride = 0;
    RK_U32 v_stride = 0;
    MppFrameFormat fmt  = MPP_FMT_YUV420SP;
    MppBuffer buffer    = NULL;
    RK_U8 *base = NULL;

    width    = mpp_frame_get_width(frame);
    height   = mpp_frame_get_height(frame);
    h_stride = mpp_frame_get_hor_stride(frame);
    v_stride = mpp_frame_get_ver_stride(frame);
    fmt      = mpp_frame_get_fmt(frame);
    buffer   = mpp_frame_get_buffer(frame);
    RK_U32 buf_size = mpp_frame_get_buf_size(frame);
    LOG_INFO << "w x h: %dx%d hor_stride:%d ver_stride:%d buf_size:%d\n"<<
                width<<"||"<< height<<"||"<<h_stride<<"||"<<v_stride<<"||"<< buf_size;

    if (NULL == buffer)
    {
        LOG_INFO << ("buffer is null\n");
        return ;
    }

    base = (RK_U8 *)mpp_buffer_get_ptr(buffer);

    // MPP_FMT_YUV420SP
    if (fmt != MPP_FMT_YUV420SP)
    {
        LOG_INFO << ("fmt %d not supported\n", fmt);
        return;
    }

    char *pOutput = NULL;
    int iLen = static_cast<int>(buf_size);
    LOG_INFO << "--->z iLen:"<<iLen;
    pOutput = (char*)base;

    if (iLen > 0 && pOutput)
    {
    	//用信号把QImage 发送出去
        emit SIGNAL_Image(QByteArray(pOutput, iLen), width, height);
    }
}

END、总结的知识与问题

1、一直出现jitter buffer full 这样的问题

原先开始跑，并不会出现这个问题，就是跑久了，直到抓了2000多个帧之后，慢慢就会报这个错，然后就不再拉流了，就很奇葩，这可是浪费了我很长的时间进行排查。
错误：

[rtsp @ 0x292ee690] jitter buffer full
[rtsp @ 0x292ee690] RTP: missed 84 packets
[rtsp @ 0x292ee690] jitter buffer full
[rtsp @ 0x292ee690] RTP: missed 8 packets

2、如何打印帧率？

    LOG_INFO << "the file video format is : " << m_pCodec->name;
    float fFrameRate = 0.0;
    if (m_pFormatCtx->streams[iVideoStream]->avg_frame_rate.den != 0 && m_pFormatCtx->streams[iVideoStream]->avg_frame_rate.num != 0)
    {
        fFrameRate = m_pFormatCtx->streams[iVideoStream]->avg_frame_rate.num * 1.0 /m_pFormatCtx->streams[iVideoStream]->avg_frame_rate.den;//每秒多少帧
        LOG_INFO << "Frame Rate : " << fFrameRate;
    }

3、分析av_packet_alloc、av_init_packet、av_packet_unref、av_packet_free、av_frame_move_ref、av_packet_clone

参考：从源码的层面理解ffmpeg这几个API

4、出现解码出的视频流存在延时，应该是其中的mpp存在一定的问题，大家如若遇到这个问题，可以考虑把int iRet = _DecodeAVPacket(pPacket);注释掉，使用FFmpeg解码，有可能能解决该问题，但目前该问题的原因，我还没有找到，应该是哪个流程的延时太严重了，没有及时很及时的解码。

参考

1、从源码的层面理解ffmpeg这几个API
2、GitHub - MUZLATAN/ffmpeg_rtsp_mpp: ffmpeg 拉取rtsp h264流， 使用mpp解码， 目前在firefly 板子上跑通了
3、RK3568 MPP编码
4、Rockchip MPP(Media Process Platform)解码H264
5、mpi_dec_test 解码失败

清风正度
关注
  • 23
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
rk3568 rtsp拉流 mpp硬解码
05-06
rk3568 rtsp拉流 mpp硬解码
RK-MPP硬件编解码库介绍和使用
热门推荐
QQ135102692的博客
06-02 1万+
RK-MPP硬件编解码库介绍和使用
rk3588音视频硬件编解码介绍
最新发布
weixin_43802726的博客
03-04 942
ffmedia硬件音视频编解码
ffmpeg_rtsp_mpp:ffmpeg 拉取rtsp h264流， 使用mpp解码， 目前在firefly 板子上跑通了
05-10
ffmpeg_rtsp_mpp ffmpeg 拉取rtsp h264流， 使用mpp解码， 目前在firefly 板子上跑通了 保存的yuv文件可以用yuvplayer.exe文件打开， 设置文件大小， 就可以正常显示了 change log 重新添加了一个整的YUV420SP2Mat()函数, 修改了内存泄露的bug， 根据release 版本的mpp精简了一点代码
RK3588硬编解码MPP环境配置
授之以鱼不如授之以渔
11-25 2227
RK3588硬编解码MPP环境配置
ffmpeg-4.0.6.tar.gz
12-10
rk3568编译ffmpeg
RK平台之mpp编解码
CyanZee的博客
05-09 4425
mpp编解码测试mpp源码编译mpp解码测试mpi_dec_testmpp编码测试mpp_enc_test mpp源码编译 1、源码下载 git clone https://github.com/rockchip-linux/mpp.git 2、配置build/linux/arm目录下arm.linux.cross.cmake工具链 cmake_minimum_required( VERSION 2.6.3 ) SET(TOOLCHAIN_HOME "/opt/zlg/m1126-sdk-v1.8.0-
RKMPP库快速上手--（一）RKMPP功能及使用详解
程序猿老樊的博客
07-31 6156
我们可以通过gstreamer和ffmpeg的mpp插件来使用mpp硬件加速，但是这两种应用程序都会因为兼容api的原因，徒增几次无用的帧拷贝动作，并且使用的都是虚拟地址。如果想榨干芯片的性能，开发最完美的代码，纯连续的物理buffer和mpp+rga是离不开的。Mpp的API思路其实跟目前绝大多数的编解码库是一致的，都是queue/dequeue的队列操作方式，先设置好编解码状态，然后不停的queue/dequeueinput/outputbuffer就可以实现编解码控制了。...
rk3399 rkmpp 在ffmpeg上实现硬编解码
weixin_41176628的博客
03-10 1万+
一、编译指令： --enable-cross-compile --cross-prefix=/home/cks/fireFlyLinuxSdk/firefly/linux_sdk/buildroot/output/rockchip_rk3399pro/host/bin/aarch64-buildroot-linux-gnu- --sysroot=/home/cks/fireFlyLinuxSdk/firefly/linux_sdk/buildroot/output/rockchip_rk3399pro/ho
rk3588 ffmpeg使用硬件解码
m0_58944591的博客
04-03 9790
找到需要的x264 libdrm的pkgconfig文件夹，rockchip_mpp.pc 被安装在了/usr/local/lib/pkgconfig这里。在https://johnvansickle.com/ffmpeg/下载最新的版本然后解压。–host 当前编译工具链的前缀 ll /usr/bin/gcc*查看。在https://launchpad.net/上搜索软件名+ppa。将ffmpeg移动到/usr/local/bin文件夹。然后更改配置文件/etc/ld.so.conf。
基于Rockchip MPP实现的RTSP解码
03-05
基于RK3399平台，利用MPP实现RTSP视频流的硬件解码，输入视频流格式为H.264
rk3399 QT MPP Rga解码rtsp流并显示
08-01
rk3399 使用qt，利用ffmpeg拉去rtsp流，交给mpp硬解码，再交给rga转换并显示图像
rk3588 MPP硬解码RTSP流，项目为QT工程
06-18
描述：github上的源码项目存在一点点的问题，就是在资源释放的时候没有释放完全，会导致内存泄露和句柄泄露，我对其进行了完善，目前没有发现泄露问题了。不过目前还有一个问题，解码出来的视频不够平滑，或者说有...
rk3588的mpp解码264到nv12
08-16
简单的封装，实现了读取两个接口，使用队列的方式使其独立。为保证线程安全加了锁。有一点不满意的地方，还不是完全的资源自己控制，在外部取用之后，因为我把资源所有权，转交给你，所以我不能自己控制它的释放，在...
RK3399-RGA使用
保持一颗敬畏之心，简单地调用C++，适当地向C++妥协，让以后的自己看懂代码，让别人看懂代码。
09-24 7807
目录前言正文资料的下载参考 前言 由于工作要用到这个功能。所以，弄了很久，后面发现的几个问题，确实都是比较比较low导致的。这里做一个记录，防止以后再犯。 正文 资料的下载 参考
如何旋转YUV图片数据且使用Qt显示
保持一颗敬畏之心，简单地调用C++，适当地向C++妥协，让以后的自己看懂代码，让别人看懂代码。
02-04 2606
旋转YUV420 各种格式的数据图片总结。
rk3568 mpp OSD
05-11
RK3568是瑞芯微推出的一款高性能处理器，MPP（Media Processing Platform）是一种多媒体处理平台。OSD（On-Screen Display）是指在显示器或电视屏幕上显示的图像或文字。基于这些信息，我猜测您可能是在询问RK3568处理器是否支持MPP OSD功能，但是具体细节我可能无法回答。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值