RockChip MPP编码“0拷贝”介绍

最新推荐文章于 2024-05-08 20:19:46 发布
最新推荐文章于 2024-05-08 20:19:46 发布
阅读量6.2k 收藏 26
点赞数 4
分类专栏： RockChip 文章标签： mppenc mpp编码 mpp0拷贝 rk编码 rk0拷贝
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyy901135/article/details/103018736
版权

概述

Rockchip平台的mpp硬件编码器：mpp enc 仅接受硬件buf作为输入。当然如果使用malloc开辟的内存，硬件编解码器则无法完成“Zero Copy”，从而大大降低编码性能。本文主要介绍如何组织DRM buf的像素格式，从而避免内存搬运，实现“0拷贝”。

官方示例解说

官方提供的mpi_enc_test示例，其开辟drm buf大小是按照宽高16对齐后来计算的。比如：1920x1080的yuv420p图像，16对齐后的宽高为：1920x1088. 那么实际开辟的drm buf大小应为1920x1088x3/2. 之所以实际开辟的内存要16字节对齐，是因为mpp模块最小宏块是按照16x16处理。

既然引入的对齐，那么像素排布就必须必须依照对齐后的分辨率去处理。比如mpi_enc_test中提供的默认组织方式：

/* 针对1080P的分辨率，16对齐后的内存大小：1920x1088。
 *
 * 像素排布，比如8x4的YUV420P的图像，
 * 开辟DMA内存大小为：8x8：
 * Y Y Y Y Y Y Y Y
 * Y Y Y Y Y Y Y Y
 * Y Y Y Y Y Y Y Y
 * Y Y Y Y Y Y Y Y
 * - - - - - - - - //虚高行空出
 * - - - - - - - - //虚高行空出。
 * - - - - - - - - //虚高行空出。
 * - - - - - - - - //虚高行空出。
 * U U U U
 * U U U U
 * - - - -
 * - - - -
 * V V V V
 * V V V V
 * - - - -
 * - - - -
 *
 * 注意，上面面二维buffer图，本质对应一维8x8的buffer数组，
 * 数据组织格式如下：
 * Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y（紧挨着下一行）
 * - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
 * U U U U U U U U - - - - - - - - V V V V V V V V - - - - - - - -
 * - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
 */

MPP_RET read_yuv_image(RK_U8 *buf, FILE *fp, RK_U32 width, RK_U32 height,
                       RK_U32 hor_stride, RK_U32 ver_stride, MppFrameFormat fmt)
{
    MPP_RET ret = MPP_OK;
    RK_U32 read_size;
    RK_U32 row = 0;
    RK_U8 *buf_y = buf;
    RK_U8 *buf_u = buf_y + hor_stride * ver_stride; // NOTE: diff from gen_yuv_image
    RK_U8 *buf_v = buf_u + hor_stride * ver_stride / 4; // NOTE: diff from gen_yuv_image

    switch (fmt) {
    case MPP_FMT_YUV420SP : {
        for (row = 0; row < height; row++) {
            read_size = fread(buf_y + row * hor_stride, 1, width, fp);
            if (read_size != width) {
                mpp_err_f("read ori yuv file luma failed");
                ret  = MPP_NOK;
                goto err;
            }
        }

        for (row = 0; row < height / 2; row++) {
            read_size = fread(buf_u + row * hor_stride, 1, width, fp);
            if (read_size != width) {
                mpp_err_f("read ori yuv file cb failed");
                ret  = MPP_NOK;
                goto err;
            }
        }
    } break;
    case MPP_FMT_YUV420P : {
        for (row = 0; row < height; row++) {
            read_size = fread(buf_y + row * hor_stride, 1, width, fp);
            if (read_size != width) {
                mpp_err_f("read ori yuv file luma failed");
                ret  = MPP_NOK;
                goto err;
            }
        }

        for (row = 0; row < height / 2; row++) {
            read_size = fread(buf_u + row * hor_stride / 2, 1, width / 2, fp);
            if (read_size != width / 2) {
                mpp_err_f("read ori yuv file cb failed");
                ret  = MPP_NOK;
                goto err;
            }
        }

        for (row = 0; row < height / 2; row++) {
            read_size = fread(buf_v + row * hor_stride / 2, 1, width / 2, fp);
            if (read_size != width / 2) {
                mpp_err_f("read ori yuv file cr failed");
                ret  = MPP_NOK;
                goto err;
            }
        }
    } break;
    case MPP_FMT_ARGB8888 : {
        for (row = 0; row < height; row++) {
            read_size = fread(buf_y + row * hor_stride * 4, 1, width * 4, fp);
        }
    } break;
    case MPP_FMT_YUV422_YUYV :
    case MPP_FMT_YUV422_UYVY : {
        for (row = 0; row < height; row++) {
            read_size = fread(buf_y + row * hor_stride, 1, width * 2, fp);
        }
    } break;
    default : {
        mpp_err_f("read image do not support fmt %d\n", fmt);
        ret = MPP_ERR_VALUE;
    } break;
    }

err:

    return ret;
}

我们注意到，上述代码组织内存方式需要依照虚高（ver_stride）对齐，但如果前端摄像头采集到数据虽然也是要16对齐的DMA buf，但不会依照MPP要求组织像素内存，这时岂不是就必须进行一次数据搬运？

本文就是讲述MPP的隐含特性：兼容8字节对齐。

8字节对齐方式

经过试验证明，只要内存开辟是按照16对齐。那么像素组织形式仍可采用如下方式（8对齐）。对比上文官方示例中的代码，此处的Y、U、V之间并未有空隔行。而是紧凑的拼接在一起，这符合多数Camera的数据组织方式。

/* 针对1080P的分辨率，16对齐后的内存大小：1920x1088。
 *
 * 像素格式排布，比如8x4的图像，开辟DMA内存大小为：8x8：
 * Y Y Y Y Y Y Y Y
 * Y Y Y Y Y Y Y Y
 * Y Y Y Y Y Y Y Y
 * Y Y Y Y Y Y Y Y
 * U U U U
 * U U U U
 * V V V V
 * V V V V
 * - - - -
 * - - - -
 *
 * 注意，上面面二维buffer图，本质对应一维8x8的buffer数组，
 * 数据组织格式如下：
 * Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y（紧挨着下一行）
 * U U U U U U U U V V V V V V V V - - - - - - - - - - - - - - - -
 * - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
 * - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
 */

MPP_RET read_yuv_image(RK_U8 *buf, FILE *fp, RK_U32 width, RK_U32 height,
                      RK_U32 hor_stride, RK_U32 ver_stride, MppFrameFormat fmt)
{
   MPP_RET ret = MPP_OK;
   RK_U32 read_size;
   RK_U32 row = 0;
   RK_U8 *buf_y = NULL;
   RK_U8 *buf_u = NULL; // NOTE: diff from gen_yuv_image
   RK_U8 *buf_v = NULL; // NOTE: diff from gen_yuv_image
   static int debug_save_frame_num = 0;
   FILE *debug_frame_fd = NULL;

//   printf("+++ FLC-DBG: w:%d, h:%d, hor_stride:%d, ver_stride:%d\n",
//    width, height, hor_stride, ver_stride);

   buf_y = buf;
   buf_u = buf_y + hor_stride * height;
   buf_v = buf_u + hor_stride * height / 4;

//   printf("+++ FLC-DBG: buffer_y:%p(0), buff_u:%p(%d), buff_v:%p(%d)\n",
//    buf_y, buf_u, (int)(buf_u - buf_y), buf_v, (int)(buf_v - buf_u));

   switch (fmt) {
   case MPP_FMT_YUV420SP : {
       for (row = 0; row < height; row++) {
           read_size = fread(buf_y + row * hor_stride, 1, width, fp);
           if (read_size != width) {
               mpp_err_f("read ori yuv file luma failed");
               ret  = MPP_NOK;
               goto err;
           }
       }

       for (row = 0; row < height / 2; row++) {
           read_size = fread(buf_u + row * hor_stride, 1, width, fp);
           if (read_size != width) {
               mpp_err_f("read ori yuv file cb failed");
               ret  = MPP_NOK;
               goto err;
           }
       }
   } break;
   case MPP_FMT_YUV420P : {
       for (row = 0; row < height; row++) {
           read_size = fread(buf_y + row * hor_stride, 1, width, fp);
           if (read_size != width) {
               mpp_err_f("read ori yuv file luma failed");
               ret  = MPP_NOK;
               goto err;
           }
       }

       for (row = 0; row < height / 2; row++) {
           read_size = fread(buf_u + row * hor_stride / 2, 1, width / 2, fp);
           if (read_size != width / 2) {
               mpp_err_f("read ori yuv file cb failed");
               ret  = MPP_NOK;
               goto err;
           }
       }

       for (row = 0; row < height / 2; row++) {
           read_size = fread(buf_v + row * hor_stride / 2, 1, width / 2, fp);
           if (read_size != width / 2) {
               mpp_err_f("read ori yuv file cr failed");
               ret  = MPP_NOK;
               goto err;
           }
       }
   } break;
   case MPP_FMT_ARGB8888 : {
       for (row = 0; row < height; row++) {
           read_size = fread(buf_y + row * hor_stride * 4, 1, width * 4, fp);
       }
   } break;
   case MPP_FMT_YUV422_YUYV :
   case MPP_FMT_YUV422_UYVY : {
       for (row = 0; row < height; row++) {
           read_size = fread(buf_y + row * hor_stride, 1, width * 2, fp);
       }
   } break;
   default : {
       mpp_err_f("read image do not support fmt %d\n", fmt);
       ret = MPP_ERR_VALUE;
   } break;
   }

   /* Save 30th frame */
   if (debug_save_frame_num++ == 30) {
       debug_frame_fd = fopen("/tmp/debug_frame.yuv420p", "wa+");
       if (debug_frame_fd) {
           fwrite(buf, 1, hor_stride * height * 3 /2, debug_frame_fd);
           printf("### FLC-DBG: Saved /tmp/debug_frame.yuv420p\n");
           fclose(debug_frame_fd);
       } else {
           printf("### FLC-DBG: open /tmp/debug_frame.yuv420p failed!\n");
       }
   }

err:

   return ret;
}

注：对应帧和编码器配置需要对应修改。

树叶-梨花
关注
  • 4
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
3.1 RK3588 MPP硬件编码YUYV为H264（待更新）
m0_46087051的博客
04-12 371
下载必要的包下载MPP源代码。
RKMPP库快速上手--（一）RKMPP功能及使用详解
程序猿老樊的博客
07-31 6604
我们可以通过gstreamer和ffmpeg的mpp插件来使用mpp硬件加速，但是这两种应用程序都会因为兼容api的原因，徒增几次无用的帧拷贝动作，并且使用的都是虚拟地址。如果想榨干芯片的性能，开发最完美的代码，纯连续的物理buffer和mpp+rga是离不开的。Mpp的API思路其实跟目前绝大多数的编解码库是一致的，都是queue/dequeue的队列操作方式，先设置好编解码状态，然后不停的queue/dequeueinput/outputbuffer就可以实现编解码控制了。...
rk3588 mpp 视频硬编解码测试
菊花的博客
08-10 2808
rk3588 mpp demo 使用记录。
RK3568平台（camera篇） MPP编码
weixin_49303682的博客
02-11 4608
同芯片的差异，为使用者提供统一的视频媒体处理接口（Media Process Interface，缩写 MPI）。瑞芯微提供的媒体处理软件平台（Media Process Platform，简称 MPP）是适用于瑞芯微芯片系列的。mpi_enc_test 的命令参数中，图像宽度（w）图像高度（h），码流类型（t）为强制要求参数，其他参。视频拷贝，缩放，色彩空间转换，场视频解交织（Deinterlace）数如输入文件（i），输出文件（o），编码帧数（n）等为可选参数。设置一些MPP的模式。
20240508在RK3588的Buildroot系统下播放MP4视频
最新发布
南岭笑笑生之家
05-08 740
OK3588 支持 H264，H265、VP8、VP9 视频硬解码，H264 解码器支持 8K@30fps，H265 解码器支持。这个是直接通过wayland显示的窗口，跟桌面上的应用是没关系的，应该是播放窗口的纵横比跟视频纵横比不一致导致的。OK3588 使用 mppvideodec 组件进行视频硬解码，它的输出格式为：NV12，I420，YV12。4.3.2 解码并播放 H264 格式视频带音频。4.3.4 解码并播放 H265 格式视频带音频。4.3.8 解码并播放 VP8 格式视频带音频。
Rockchip MPP
03-16
瑞芯微提供的媒体处理软件平台（Media Process Platform，简称 MPP）是适用于瑞芯微芯片系列的 通用媒体处理软件平台。该平台对应用软件屏蔽了芯片相关的复杂底层处理，其目的是为了屏蔽不 同芯片的差异，为使用者提供统一的视频媒体处理接口（Media Process Interface，缩写 MPI）。MPP 提供的功能包括：  视频解码  H.265 / H.264 / H.263 / VP9 / VP8 / MPEG-4 / MPEG-2 / MPEG-1 / VC1 / MJPEG  视频编码  H.264 / VP8 / MJPEG  视频处理  视频拷贝，缩放，色彩空间转换，场视频解交织（Deinterlace） 本文档描述了 MPP 框架以及组成模块，以及供用户使用的 MPI 接口。本文档适合于上层应用开发 人员以及技术支持人员阅
RK-MPP硬件编解码库介绍和使用
热门推荐
QQ135102692的博客
06-02 1万+
RK-MPP硬件编解码库介绍和使用
RocketMQ原理详解——零拷贝机制
wukuruaCL的博客
05-03 4548
参考： 原来 8 张图，就可以搞懂「零拷贝」了 - 小林coding - 博客园 (cnblogs.com) RocketMq中零拷贝 - 简书 (jianshu.com) linux零拷贝原理，RocketMQ＆Kafka使用对比 - 云+社区 - 腾讯云 (tencent.com) [Java文件映射mmap]全接触 (douban.com) 原始版本 一台服务器把本机磁盘文件的内容发送到客户端，一般分为两个步骤： read：读取本地文件内容； write：将读取的内容通过网络发送出去。 这两个.
rk嵌入式 实现多路窗口0拷贝gpu渲染
sunxiaopengsun的专栏
11-26 973
rk356x 实现多路窗口0拷贝gpu渲染。 在builtroot上使用qt实现。 程序功能: 从本地文件 test.yuv获取yuv数据每个40ms渲染一帧。9路窗口同时渲染 。 本程序突破技术 ： 1.多路窗口同时渲染：多线程离屏渲染 2.零拷贝实现，申请连续物理内存不占用cpu拷贝 3.qt代码开发环境 ，实现多路窗口同时渲染，基类为qwidget 下载地址 ：qt多窗口yuv零拷贝渲染.rar-网络安全文档类资源-CSDN下载 ...
基于Rockchip MPP实现的RTSP解码
03-05
在本文中，我们将深入探讨如何在基于Rockchip的RK3399平台上，利用Multi-Processing Packet (MPP) 框架实现RTSP（Real-Time Streaming Protocol）视频流的硬件解码，特别是针对H.264编码格式。MPP是Rockchip公司设计...
IPCamera.zip_IPCAM开发板_RockChip MPP_ipcamera_live555_mpp
07-14
讲解如何基于TB-RK3399proD开发板进行RTSP推流，并可在远程使用vlc进行播放 开发板：TB-RK3399proD 系统、固件：采用fedora28系统（固件v1.5测试通过） ...编解码库：rockchip mpp编解码库 图像数据：usb摄像头
tslib-1.4交叉编译和分析
04-12
关于tslib1.4的交叉编译，转的一位兄弟的博客文章
基于RK3399的MPP库实现的视频编码例程
07-29
本例程通过调用RK3399的MPP库，实现从USB摄像头采集视频数据，并编码输出为h264帧的视频文件。
rockchip-Secureboot+介绍
03-24
Rockchip Secureboot+ 是一种基于Rockchip处理器的安全启动机制，主要设计用于增强嵌入式设备，如平板电脑、智能电视盒以及物联网设备等的安全性。它确保设备在启动时加载的固件是经过验证的，防止恶意软件或未授权...
一套rk3588 rtsp服务器推流的 github 方案及记录 -02
qq_31764341的博客
12-21 2811
整体方案参考上一篇博文本篇博文主要介绍基于RK3588进行硬解码还是之前的套路，我不生产代码，我只是代码的搬运工，今天我们搬运瑞芯微的官方代码，并记录下来整个调试历程。两篇文章下来，我们3588上面的流肯定能出来..代码贴的特别详细。。。
Rockchip MPP(Media Process Platform)解码H264
viengo的博客
11-20 8669
#　Rockchip MPP(Media Process Platform)解码H264 1. 简介 本例完成H264格式文件解码，并保存为yuv格式文件。参考mpp_dec_test重写，进行了一部分精简。 瑞芯微提供的媒体处理软件平台（Media Process Platform，简称 MPP）是适用于瑞芯微芯片系列的 通用媒体处理软件平台。该平台对应用软件屏蔽了芯片相关的复杂底层处理，其目的是为了屏蔽不 同芯片的差异，为使用者提供统一的视频媒体处理接口（Media Process Interface，
RK3588编译RKMPP库+编解码测试
TOYUNA的博客
07-13 1万+
RK3588编译RKMPP库+编解码测试
rk3399 rkmpp 在ffmpeg上实现硬编解码
weixin_41176628的博客
03-10 1万+
一、编译指令： --enable-cross-compile --cross-prefix=/home/cks/fireFlyLinuxSdk/firefly/linux_sdk/buildroot/output/rockchip_rk3399pro/host/bin/aarch64-buildroot-linux-gnu- --sysroot=/home/cks/fireFlyLinuxSdk/firefly/linux_sdk/buildroot/output/rockchip_rk3399pro/ho
RK3588 MPP，GRA，DRM，QT之MPP解码
dreamliweiming的博客
06-01 2656
RK3588多路视频解码，RGA合成，DRM显示，QT悬浮。
rockchip mpp中的mpp_env_init()头文件
05-12
在 Rockchip MPP 中，`mpp_env_init()` 函数的头文件为 `mpp_env.h`，该头文件定义了一些与环境有关的函数和数据结构，包括 `mpp_env_init()` 函数。 该函数的主要作用是初始化 MPP 环境，包括初始化日志系统、注册信号处理函数、设置内存申请和释放的回调函数等。具体实现可以参考 Rockchip MPP 的源代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值