RockChip MPP编码“0拷贝”介绍

最新推荐文章于 2024-06-18 15:42:46 发布
最新推荐文章于 2024-06-18 15:42:46 发布
阅读量6.3k 收藏 26
点赞数 4
分类专栏： RockChip 文章标签： mppenc mpp编码 mpp0拷贝 rk编码 rk0拷贝
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyy901135/article/details/103018736
版权

概述

Rockchip平台的mpp硬件编码器：mpp enc 仅接受硬件buf作为输入。当然如果使用malloc开辟的内存，硬件编解码器则无法完成“Zero Copy”，从而大大降低编码性能。本文主要介绍如何组织DRM buf的像素格式，从而避免内存搬运，实现“0拷贝”。

官方示例解说

官方提供的mpi_enc_test示例，其开辟drm buf大小是按照宽高16对齐后来计算的。比如：1920x1080的yuv420p图像，16对齐后的宽高为：1920x1088. 那么实际开辟的drm buf大小应为1920x1088x3/2. 之所以实际开辟的内存要16字节对齐，是因为mpp模块最小宏块是按照16x16处理。

既然引入的对齐，那么像素排布就必须必须依照对齐后的分辨率去处理。比如mpi_enc_test中提供的默认组织方式：

/* 针对1080P的分辨率，16对齐后的内存大小：1920x1088。
 *
 * 像素排布，比如8x4的YUV420P的图像，
 * 开辟DMA内存大小为：8x8：
 * Y Y Y Y Y Y Y Y
 * Y Y Y Y Y Y Y Y
 * Y Y Y Y Y Y Y Y
 * Y Y Y Y Y Y Y Y
 * - - - - - - - - //虚高行空出
 * - - - - - - - - //虚高行空出。
 * - - - - - - - - //虚高行空出。
 * - - - - - - - - //虚高行空出。
 * U U U U
 * U U U U
 * - - - -
 * - - - -
 * V V V V
 * V V V V
 * - - - -
 * - - - -
 *
 * 注意，上面面二维buffer图，本质对应一维8x8的buffer数组，
 * 数据组织格式如下：
 * Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y（紧挨着下一行）
 * - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
 * U U U U U U U U - - - - - - - - V V V V V V V V - - - - - - - -
 * - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
 */

MPP_RET read_yuv_image(RK_U8 *buf, FILE *fp, RK_U32 width, RK_U32 height,
                       RK_U32 hor_stride, RK_U32 ver_stride, MppFrameFormat fmt)
{
    MPP_RET ret = MPP_OK;
    RK_U32 read_size;
    RK_U32 row = 0;
    RK_U8 *buf_y = buf;
    RK_U8 *buf_u = buf_y + hor_stride * ver_stride; // NOTE: diff from gen_yuv_image
    RK_U8 *buf_v = buf_u + hor_stride * ver_stride / 4; // NOTE: diff from gen_yuv_image

    switch (fmt) {
    case MPP_FMT_YUV420SP : {
        for (row = 0; row < height; row++) {
            read_size = fread(buf_y + row * hor_stride, 1, width, fp);
            if (read_size != width) {
                mpp_err_f("read ori yuv file luma failed");
                ret  = MPP_NOK;
                goto err;
            }
        }

        for (row = 0; row < height / 2; row++) {
            read_size = fread(buf_u + row * hor_stride, 1, width, fp);
            if (read_size != width) {
                mpp_err_f("read ori yuv file cb failed");
                ret  = MPP_NOK;
                goto err;
            }
        }
    } break;
    case MPP_FMT_YUV420P : {
        for (row = 0; row < height; row++) {
            read_size = fread(buf_y + row * hor_stride, 1, width, fp);
            if (read_size != width) {
                mpp_err_f("read ori yuv file luma failed");
                ret  = MPP_NOK;
                goto err;
            }
        }

        for (row = 0; row < height / 2; row++) {
            read_size = fread(buf_u + row * hor_stride / 2, 1, width / 2, fp);
            if (read_size != width / 2) {
                mpp_err_f("read ori yuv file cb failed");
                ret  = MPP_NOK;
                goto err;
            }
        }

        for (row = 0; row < height / 2; row++) {
            read_size = fread(buf_v + row * hor_stride / 2, 1, width / 2, fp);
            if (read_size != width / 2) {
                mpp_err_f("read ori yuv file cr failed");
                ret  = MPP_NOK;
                goto err;
            }
        }
    } break;
    case MPP_FMT_ARGB8888 : {
        for (row = 0; row < height; row++) {
            read_size = fread(buf_y + row * hor_stride * 4, 1, width * 4, fp);
        }
    } break;
    case MPP_FMT_YUV422_YUYV :
    case MPP_FMT_YUV422_UYVY : {
        for (row = 0; row < height; row++) {
            read_size = fread(buf_y + row * hor_stride, 1, width * 2, fp);
        }
    } break;
    default : {
        mpp_err_f("read image do not support fmt %d\n", fmt);
        ret = MPP_ERR_VALUE;
    } break;
    }

err:

    return ret;
}

我们注意到，上述代码组织内存方式需要依照虚高（ver_stride）对齐，但如果前端摄像头采集到数据虽然也是要16对齐的DMA buf，但不会依照MPP要求组织像素内存，这时岂不是就必须进行一次数据搬运？

本文就是讲述MPP的隐含特性：兼容8字节对齐。

8字节对齐方式

经过试验证明，只要内存开辟是按照16对齐。那么像素组织形式仍可采用如下方式（8对齐）。对比上文官方示例中的代码，此处的Y、U、V之间并未有空隔行。而是紧凑的拼接在一起，这符合多数Camera的数据组织方式。

/* 针对1080P的分辨率，16对齐后的内存大小：1920x1088。
 *
 * 像素格式排布，比如8x4的图像，开辟DMA内存大小为：8x8：
 * Y Y Y Y Y Y Y Y
 * Y Y Y Y Y Y Y Y
 * Y Y Y Y Y Y Y Y
 * Y Y Y Y Y Y Y Y
 * U U U U
 * U U U U
 * V V V V
 * V V V V
 * - - - -
 * - - - -
 *
 * 注意，上面面二维buffer图，本质对应一维8x8的buffer数组，
 * 数据组织格式如下：
 * Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y（紧挨着下一行）
 * U U U U U U U U V V V V V V V V - - - - - - - - - - - - - - - -
 * - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
 * - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
 */

MPP_RET read_yuv_image(RK_U8 *buf, FILE *fp, RK_U32 width, RK_U32 height,
                      RK_U32 hor_stride, RK_U32 ver_stride, MppFrameFormat fmt)
{
   MPP_RET ret = MPP_OK;
   RK_U32 read_size;
   RK_U32 row = 0;
   RK_U8 *buf_y = NULL;
   RK_U8 *buf_u = NULL; // NOTE: diff from gen_yuv_image
   RK_U8 *buf_v = NULL; // NOTE: diff from gen_yuv_image
   static int debug_save_frame_num = 0;
   FILE *debug_frame_fd = NULL;

//   printf("+++ FLC-DBG: w:%d, h:%d, hor_stride:%d, ver_stride:%d\n",
//    width, height, hor_stride, ver_stride);

   buf_y = buf;
   buf_u = buf_y + hor_stride * height;
   buf_v = buf_u + hor_stride * height / 4;

//   printf("+++ FLC-DBG: buffer_y:%p(0), buff_u:%p(%d), buff_v:%p(%d)\n",
//    buf_y, buf_u, (int)(buf_u - buf_y), buf_v, (int)(buf_v - buf_u));

   switch (fmt) {
   case MPP_FMT_YUV420SP : {
       for (row = 0; row < height; row++) {
           read_size = fread(buf_y + row * hor_stride, 1, width, fp);
           if (read_size != width) {
               mpp_err_f("read ori yuv file luma failed");
               ret  = MPP_NOK;
               goto err;
           }
       }

       for (row = 0; row < height / 2; row++) {
           read_size = fread(buf_u + row * hor_stride, 1, width, fp);
           if (read_size != width) {
               mpp_err_f("read ori yuv file cb failed");
               ret  = MPP_NOK;
               goto err;
           }
       }
   } break;
   case MPP_FMT_YUV420P : {
       for (row = 0; row < height; row++) {
           read_size = fread(buf_y + row * hor_stride, 1, width, fp);
           if (read_size != width) {
               mpp_err_f("read ori yuv file luma failed");
               ret  = MPP_NOK;
               goto err;
           }
       }

       for (row = 0; row < height / 2; row++) {
           read_size = fread(buf_u + row * hor_stride / 2, 1, width / 2, fp);
           if (read_size != width / 2) {
               mpp_err_f("read ori yuv file cb failed");
               ret  = MPP_NOK;
               goto err;
           }
       }

       for (row = 0; row < height / 2; row++) {
           read_size = fread(buf_v + row * hor_stride / 2, 1, width / 2, fp);
           if (read_size != width / 2) {
               mpp_err_f("read ori yuv file cr failed");
               ret  = MPP_NOK;
               goto err;
           }
       }
   } break;
   case MPP_FMT_ARGB8888 : {
       for (row = 0; row < height; row++) {
           read_size = fread(buf_y + row * hor_stride * 4, 1, width * 4, fp);
       }
   } break;
   case MPP_FMT_YUV422_YUYV :
   case MPP_FMT_YUV422_UYVY : {
       for (row = 0; row < height; row++) {
           read_size = fread(buf_y + row * hor_stride, 1, width * 2, fp);
       }
   } break;
   default : {
       mpp_err_f("read image do not support fmt %d\n", fmt);
       ret = MPP_ERR_VALUE;
   } break;
   }

   /* Save 30th frame */
   if (debug_save_frame_num++ == 30) {
       debug_frame_fd = fopen("/tmp/debug_frame.yuv420p", "wa+");
       if (debug_frame_fd) {
           fwrite(buf, 1, hor_stride * height * 3 /2, debug_frame_fd);
           printf("### FLC-DBG: Saved /tmp/debug_frame.yuv420p\n");
           fclose(debug_frame_fd);
       } else {
           printf("### FLC-DBG: open /tmp/debug_frame.yuv420p failed!\n");
       }
   }

err:

   return ret;
}

注：对应帧和编码器配置需要对应修改。

树叶-梨花
关注
  • 4
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
55、RK3588使用MPP编码yuv到h264、解码h264到yuv模块开发和集成OAK深度相机解码&编码&推流测试
sxj731533730
05-04 5168
基本思想：需要使用独立模块代码去实现自己的逻辑功能，所以在基于官方源码基础上，和参考附录几个官方链接，搞出一版rk3588编码测试和解码测试demo。一、先看工程rk_yuv_mpp_h264编码demo。测试结果rk3588测试结果。
RKMPP库快速上手--（一）RKMPP功能及使用详解
程序猿老樊的博客
07-31 6797
我们可以通过gstreamer和ffmpeg的mpp插件来使用mpp硬件加速，但是这两种应用程序都会因为兼容api的原因，徒增几次无用的帧拷贝动作，并且使用的都是虚拟地址。如果想榨干芯片的性能，开发最完美的代码，纯连续的物理buffer和mpp+rga是离不开的。Mpp的API思路其实跟目前绝大多数的编解码库是一致的，都是queue/dequeue的队列操作方式，先设置好编解码状态，然后不停的queue/dequeueinput/outputbuffer就可以实现编解码控制了。...
基于Rockchip MPP实现的RTSP解码
03-05
基于RK3399平台，利用MPP实现RTSP视频流的硬件解码，输入视频流格式为H.264
手搓ZLMediakit实现推流拉流系列2（Rockchip MPP编解码）
最新发布
m0_46303486的博客
06-18 1037
​ 本文是在手搓ZLMediaKit实现拉流推流系列1（C++版）基础上调用了瑞芯微（Rockchip 系列）的MPP硬件编解码库，将经过ZLMediakit拉流得到的视频帧数据使用MPP解码库函数进行硬解码得到YUV数据格式后，再通过MPP编码库函数对视频帧数据进行编码后使用ZLMediakit推流给RTMP服务器。
Rockchip MPP
03-16
瑞芯微提供的媒体处理软件平台（Media Process Platform，简称 MPP）是适用于瑞芯微芯片系列的 通用媒体处理软件平台。该平台对应用软件屏蔽了芯片相关的复杂底层处理，其目的是为了屏蔽不 同芯片的差异，为使用者提供统一的视频媒体处理接口（Media Process Interface，缩写 MPI）。MPP 提供的功能包括：  视频解码  H.265 / H.264 / H.263 / VP9 / VP8 / MPEG-4 / MPEG-2 / MPEG-1 / VC1 / MJPEG  视频编码  H.264 / VP8 / MJPEG  视频处理  视频拷贝，缩放，色彩空间转换，场视频解交织（Deinterlace） 本文档描述了 MPP 框架以及组成模块，以及供用户使用的 MPI 接口。本文档适合于上层应用开发 人员以及技术支持人员阅
Rockchip | Rockchip 多媒体--Video Codec
Systemcall名屋
03-26 2267
Mpp Multimedia Overview on Rockchip platform MPP: Media Process Platformis the video codec parser andHardware Abstraction Layer library for the Rockchip platforms. Get source code You can get mpp source from git. git clone -b releasehttps://github....
RKMPP硬编码之mpi_enc_test .c解析
授之以鱼不如授之以渔
11-09 1171
RKMPP硬编码之mpi_enc_tst.c解析
RK3399Pro-硬件编解码器MPP库快速上手--（二）MPP编码入门
qq_39839546的博客
12-20 8963
MPP编码入门 mpp编码流程介绍 整个编码分为mpp_create，mpp_init， 再通过mpp的接口mpi->control接口来进行参数设置.一般需要配置三类信息： 码率控制方式（MPPEncRcCfg），通过命令MPP_ENC_RC_CFG配置； 输入控制配置（MppEncPrepCfg），通过命令MPP_ENC_SET_PREP_CFG配置； 协议控制配置（MppEncCodecCfg），通过命令MPP_ENC_SET_CODEC_CFG配置； 详细配置细节会在下面代码注释中给出。 配
ArmSoM-RK3588编解码之mpp编码demo解析：mpi_enc_test
nb124667390的博客
11-21 1357
ArmSoM-RK3588编解码之mpp编码demo解析：mpi_enc_test
IPCamera.zip_IPCAM开发板_RockChip MPP_ipcamera_live555_mpp
07-14
讲解如何基于TB-RK3399proD开发板进行RTSP推流，并可在远程使用vlc进行播放 开发板：TB-RK3399proD 系统、固件：采用fedora28系统（固件v1.5测试通过） ...编解码库：rockchip mpp编解码库 图像数据：usb摄像头
基于RK3399的MPP库实现的视频编码例程
07-29
本例程通过调用RK3399的MPP库，实现从USB摄像头采集视频数据，并编码输出为h264帧的视频文件。
rockchip-Secureboot+介绍
03-24
Rockchip Secureboot+ 是一种基于Rockchip处理器的安全启动机制，主要设计用于增强嵌入式设备，如平板电脑、智能电视盒以及物联网设备等的安全性。它确保设备在启动时加载的固件是经过验证的，防止恶意软件或未授权...
VS-RK3399 主板调试Linux 驱动硬解码功能分享
GHL445的博客
10-21 1484
1 Mpp （Media Process Platform） 代码位置 ： external/mpp，库文件：device/rockchip/rk3399/lib/mpp mpp 详细介绍请参考 external/mpp/readme.txt 相关接口调用demo,请查看extermal/mpp/test 目录 mpp vpu 编解码测试： mpi_dec_test (vpu 解码测试) mpi_dec_test -i /mnt/udisk/sintel.h264 -o
RK3568平台（camera篇） MPP编码
weixin_49303682的博客
02-11 4939
同芯片的差异，为使用者提供统一的视频媒体处理接口（Media Process Interface，缩写 MPI）。瑞芯微提供的媒体处理软件平台（Media Process Platform，简称 MPP）是适用于瑞芯微芯片系列的。mpi_enc_test 的命令参数中，图像宽度（w）图像高度（h），码流类型（t）为强制要求参数，其他参。视频拷贝，缩放，色彩空间转换，场视频解交织（Deinterlace）数如输入文件（i），输出文件（o），编码帧数（n）等为可选参数。设置一些MPP的模式。
rockchip mpp编码开发
a3029537的专栏
10-25 2393
mpp 编码264开发关键流程
mpp编译，测试代码运行
jinjie412的博客
08-05 900
使用的mpp源码git 提交id为 a26d0fad 2020.5.29 10:43:40 版本，toybrick tb-96ai 的板子；主要介绍了再接在开发板编译mpp源码的过程。规避了：自己编译生成的测试程序如何正确运行：RK3288 mpp硬件解码报错VPU_IOC_SET_REG failed。
RockChip3568 MPP硬解码和gstreamer1.0编译
qq_16810885的博客
05-26 6497
rockchip 3568芯片简单编译gstreamer过程记录。
RKMPP库快速上手--（四）MPP编码入门
程序猿老樊的博客
08-30 4500
为了方便理解和使用，我将mpp的编码封装成了一个class，只需要在定义对象时给出编码器初始化的数据（包括输入图像的首地址、数据格式、宽高，输出视频流的编码格式、FPS以及输出文件路径），后续的使用则只需要通过“process_image(uint8_t *p)”接口向对象喂图片即可，编码器会自动将图像编码然后存入视频流文件。如上图所示，mpp_create，mpp_init，mpp_destory操纵MppCtx接口，红框内是实现编码与解码的过程。首先，了解MPP编码之前，先了解一下MPP的MPI接口。.
rockchip mpp中的mpp_env_init()头文件
05-12
在 Rockchip MPP 中，`mpp_env_init()` 函数的头文件为 `mpp_env.h`，该头文件定义了一些与环境有关的函数和数据结构，包括 `mpp_env_init()` 函数。 该函数的主要作用是初始化 MPP 环境，包括初始化日志系统、注册信号处理函数、设置内存申请和释放的回调函数等。具体实现可以参考 Rockchip MPP 的源代码。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值