瑞芯微芯片资料中关于图像处理相关的知识点

已于 2024-07-30 11:29:18 修改
阅读量247 收藏 3
点赞数 1
分类专栏： 记录篇 文章标签： 图像处理 人工智能
于 2024-07-26 11:29:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45977690/article/details/140710522
版权

目录

MPI层

文件：Rockchip_Developer_Guide_MPI.pdf
RK MPI：Rockchip Media Process Interface，媒体处理接口。

模块介绍

RK MPI层的模块介绍：
在这里插入图片描述

IPC的应用

在这里插入图片描述

  • VI 模块捕获视频图像，可对其做剪切、缩放、镜像等处理，并输出多路不同分辨率的图像数据。
  • VDEC 模块对编码后的视频码流进行解码，并将解析后的图像数据送 VPSS 进行图像处理或直接送VO显示。可对 H.264/H.265/MJPEG/MPEG2/MPEG4等多种格式的视频码流进行解码。
  • VPSS 模块接收 VI 和解码模块发送过来的图像，可对图像进行裁剪、缩放、旋转、镜像、贴图等处理，并实现同源输出多路不同分辨率的图像数据用于编码、预览、智能分析或抓拍。
  • VENC 模块接收 VI 捕获并经 VPSS 处理后输出的图像数据，可叠加用户通过 Region模块设置的OSD 图像，然后按不同协议进行编码并输出相应码流。
  • VO 模块接收 VPSS 处理后的输出图像，可进行播放控制等处理，最后按用户配置的输出协议输出给外围视频设备。

像素格式排布

RK MPI图像数据存储为大端模式，在平台图像输入和图像输出处理时需要注意这一点，否则将会出现RGB中B像素和R像素颠倒的情况出现。以RGB888/ARGB8888格式的图像存储为例：
在这里插入图片描述

图. RGB888格式的图像存储示意图（大端模式）

在这里插入图片描述

图. ARGB8888格式的图像存储示意图（大端模式）

系统绑定

RK MPI提供系统绑定接口（RK_MPI_SYS_Bind），即通过数据接收者绑定数据源来建立两者之间的关联关系（只允许数据接收者绑定数据源）。绑定后，数据源生成的数据将自动发送给接收者。目前RK MPI支持的绑定关系如下表：
在这里插入图片描述

API接口

主要介绍RKMPI 实例使用指南——编译运行中luckfox_pico_rtsp_yolov5所使用到的API接口

RK_MPI_SYS_Init

【描述】
初始化RK MPI系统。
【语法】
RK_S32 RK_MPI_SYS_Init(RK_VOID);
【参数】
无
【返回值】
在这里插入图片描述【注意】

  • 运行RK MPI系统前必须调用该接口进行初始化。
  • 与RK_MPI_SYS_Exit成对使用，不允许连续调用该接口。
  • 多个进程暂无法共享资源使用各模块，仅MB模块相关接口可多进程使用。
RK_MPI_SYS_Bind

【描述】
数据源到数据接收者绑定的接口。
【语法】
RK_S32 RK_MPI_SYS_Bind(const MPP_CHN_S *pstSrcChn, const MPP_CHN_S *pstDestChn);
【参数】
在这里插入图片描述
【返回值】
在这里插入图片描述
【注意】

  • 系统目前支持的绑定关系，请参见系统绑定章节。
  • 同一个数据接收者只能绑定一个数据源。
  • 绑定是指数据源和数据接收者建立关联关系。绑定后，数据源生成的数据将自动发送给接收者。
  • VI和VDEC作为数据源，是以通道为发送者，向其他模块发送数据，用户将设备号置为 0，SDK不检查输入的设备号。
  • VPSS作为数据接收者时，是以设备（GROUP）为接收者，接收其他模块发来的数据，用户将通道号置为 0。
  • 模块作为数据发送者时，没有图像队列深度(DEPTH)设置的模块，绑定后无法调用自身模块的接口获取图像，能够设置图像深度的模块，必须图像深度不为0才可手动获取图像。
RK_MPI_VPSS_GetChnFrame

【描述】
用户从通道获取一帧处理完成的图像。
【语法】
RK_S32 RK_MPI_VPSS_GetChnFrame(VPSS_GRP VpssGrp, VPSS_CHN VpssChn, VIDEO_FRAME_INFO_S *pstVideoFrame, RK_S32 s32MilliSec);
【参数】
在这里插入图片描述
【返回值】
在这里插入图片描述
【注意】

  • GROUP必须已创建。
  • 队列深度不为 0，才能获取到图像。
  • 调用该接口获取图像，不会对后端绑定的模块有影响。如后端绑定VO显示，可以在显示过程中获取图像，VO仍正常显示，不会受到影响。
  • 当s32MilliSec设为-1 时，表示阻塞模式，程序一直等待，直到获取到图像才返回。如果s32MilliSec等于 0 时，表示非阻塞模式。如果s32MilliSec大于 0 时，表示超时等待模式，参数的单位是毫秒，指超时时间，在此时间内如果没有获取到图像，则超时返回。
  • 通道为PAST模式时，调用该接口时会使用VGS进行图像处理。
  • 默认在私有MB模式下，通道为USER模式时，最大输出帧个数限制到3个。
  • 默认在私有MB模式下，通道为PAST模式时，不限制最大输出帧个数。
  • 推荐队列深度设置为3个以内，否则在队列输出图像超过3个时，VPSS将会停止工作，同时同一Group的其他通道也将停止工作。
RK_MPI_MB_Handle2VirAddr

【描述】
获取一个内存缓存池中的缓存块的用户态虚拟地址。
【语法】
RK_VOID *RK_MPI_MB_Handle2VirAddr(MB_BLK mb);
【参数】
在这里插入图片描述
【返回值】
在这里插入图片描述
【举例】
用户获取YUV图像数据，可以通过RK_MPI_MB_Handle2VirAddr转换pMbBlk成虚拟地址来使用

data = RK_MPI_MB_Handle2VirAddr(sFrame.stVFrame.pMbBlk);
fwrite(data, 1, sFrame.stVFrame.u32Width * sFrame.stVFrame.u32Height * 3 /2, fp);
fflush(fp);
RK_MPI_VENC_SendFrame

【描述】
用户发送原始图像进行编码。
【语法】
RK_S32 RK_MPI_VENC_SendFrame(VENC_CHN VeChn, const VIDEO_FRAME_INFO_S *pstFrame, RK_S32 s32MilliSec);
【参数】
在这里插入图片描述
【返回值】
在这里插入图片描述

RK_MPI_VENC_GetStream

【描述】
获取编码的码流。
【语法】
RK_S32 RK_MPI_VENC_GetStream(VENC_CHN VeChn, VENC_STREAM_S *pstStream, RK_S32s32MilliSec);
【参数】
在这里插入图片描述
【返回值】
在这里插入图片描述

RK_MPI_VPSS_ReleaseChnFrame

【描述】
用户释放一帧通道图像。
【语法】
RK_S32 RK_MPI_VPSS_ReleaseChnFrame(VPSS_GRP VpssGrp, VPSS_CHN VpssChn, const VIDEO_FRAME_INFO_S *pstVideoFrame);
【参数】
在这里插入图片描述
【返回值】
在这里插入图片描述
【注意】

  • 此接口需与RK_MPI_VPSS_GetChnFrame配对使用。
  • 接口调用同RK_MPI_VPSS_GetChnFrame调用次数一一对应，不允许同一帧多次调用。
  • 通过RK_MPI_VPSS_GetChnFrame获取的帧，需要及时调用该接口释放，否则达到最大输出帧个数后无法获取新的帧。
RK_MPI_VENC_ReleaseStream

【描述】
释放码流缓存。
【语法】
RK_S32 RK_MPI_VENC_ReleaseStream(VENC_CHN VeChn, VENC_STREAM_S *pstStream);
【参数】
在这里插入图片描述
【返回值】
在这里插入图片描述

RK_MPI_SYS_UnBind

【描述】
数据源到数据接收者解绑定。
【语法】
RK_S32 RK_MPI_SYS_UnBind(const MPP_CHN_S *pstSrcChn, const MPP_CHN_S *pstDestChn);
【参数】
在这里插入图片描述
【返回值】
在这里插入图片描述
【注意】

  • pstDestChn如果找不到绑定的源通道或者找到了绑定的源通道，但是绑定的源通道和pstSrcChn不匹配，则返回失败。
RK_MPI_VI_DisableChn

【描述】
禁用 VI 通道。
【语法】
RK_S32 RK_MPI_VI_DisableChn(VI_PIPE ViPipe, VI_CHN VIChn);
【参数】
在这里插入图片描述
【返回值】
在这里插入图片描述
【注意】

  • PIPE必须已绑定设备，否则会返回失败。
RK_MPI_VI_DisableDev

【描述】
禁用VI设备。
【语法】
RK_S32 RK_MPI_VI_DisableDev(VI_DEV ViDev);
【参数】
在这里插入图片描述【返回值】
在这里插入图片描述
【注意】

  • 如果VI设备未启用，则返回未启用的VI错误码。
  • 禁用VI设备会禁用设备下所有VI通道。如果只有关闭一个通道，调用关闭通道函数即可。
RK_MPI_VPSS_StopGrp

【描述】
禁用VPSS GROUP。
【语法】
RK_S32 RK_MPI_VPSS_StopGrp(VPSS_GRP VpssGrp);
【参数】
在这里插入图片描述
【返回值】
在这里插入图片描述
【注意】

  • GROUP必须已创建。
  • 同组调用该函数仅第一次调用成功，重复调用返回失败。
RK_MPI_VPSS_DestroyGrp

【描述】
销毁一个VPSS GROUP。
【语法】
RK_S32 RK_MPI_VPSS_DestroyGrp(VPSS_GRP VpssGrp);
【参数】
在这里插入图片描述
【返回值】
在这里插入图片描述
【注意】

  • GROUP必须已创建。
  • 调用此接口之前，必须先调用RK_MPI_VPSS_StopGrp禁用此GROUP。
  • 调用此接口时，会一直等待此GROUP当前任务处理结束才会真正销毁。
RK_MPI_VENC_StopRecvFrame

【描述】
停止编码通道接收输入图像。
【语法】
RK_S32 RK_MPI_VENC_StopRecvFrame(VENC_CHN VeChn);
【参数】
在这里插入图片描述
【返回值】
在这里插入图片描述

RK_MPI_VENC_DestroyChn

【描述】
销毁编码通道。
【语法】
RK_S32 RK_MPI_VENC_DestroyChn(VENC_CHN VeChn);
【参数】
在这里插入图片描述
【返回值】
在这里插入图片描述

RK_MPI_SYS_Exit

【描述】
反初始化RK MPI系统。
【语法】
RK_S32 RK_MPI_SYS_Exit(RK_VOID);
【参数】
无
【返回值】
在这里插入图片描述
【注意】

  • 退出RK MPI系统前必须调用该函数。
  • 与RK_MPI_SYS_Init成对使用，不允许连续调用该接口。

VI模块

视频输入（VI）模块实现的功能：通过MIPI Rx(含 MIPI 接口、LVDS 接口)，BT.1120，BT.656，BT.601，DC 等接口接收视频数据。VI 将接收到的数据存入到指定的内存区域，实现视频数据的采集。

VI处理流程

在这里插入图片描述
VI从软件上划分了输入设备（dev），输入pipe(暂未实现，采用dev直通到chn)、输出通道（channel）三个层级。各芯片的设备、PIPE、通道个数差异如下所示。
在这里插入图片描述

RV1106/RV1103 VI硬件处理流程框图

在这里插入图片描述
【注意】

  • 如vi使用过程无赋值aEntityName（参考VI_ISP_OPT_S结构体定义），则默认chn0_out对应mainpath，chn1_out对应selfpath，chn2_out对应bypasspath。多路isp使用时建议通过dev/pipe/channel使用默认定义。
  • aEntityName对应的/dev/videoX节点X不是固定的，可以使用media-ctl查看对应的节点。

各路输出分辨率限制如下表：
在这里插入图片描述
【注意】

  • 以上分辨率输出限制是单路isp限制。
  • sensor输入最大输入3072x1728 (5M) @30fps，最小256x256。
  • device编号根据dts配置中sensor连接的属性camera-module-index值一一对应。
  • sensor输出最大分辨率根据sensor的宽高比不同而不同，支持sensor最大输出分辨率，并支持缩放。
  • mainpath支持卷绕模式，selfpath和bypass理论支持卷绕模式；同时只能支持一路码率和编码器卷绕。
  • 只有selfpath支持XBGR8888格式输出。
  • 支持对rkisp_mainpath于rkisp_bypasspath通道的下采样采集。仅支持4x4的下采样。故各下采样通道的分辨率是对应通道分辨率的四分之一。下采样通道采集时，需在被采样对象通道开启后开启，在被采样通道停止前停止。
  • 更多isp细节参看rv1106 datasheet中isp章节说明。

举例测试DEMO，为test_mpi_vi.cpp。

VPSS模块

VPSS（Video Process Sub-System）是视频处理子系统，支持的具体图像处理功能包括CROP、Scale、像素格式转换、固定角度旋转、Cover/Coverex、Mirror/Flip、压缩解压等。

咚咚锵咚咚锵
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
消费电子中的全志/瑞芯微/海思等主流机顶盒芯片解决方案
10-16
说起网路机顶盒，大家一定对其毫不陌生。但就像你我购买像手机、电视一样的电子产品时一样，你可能并不关注它们的芯片，最多无非就是看看外观，功能，还有几核CPU。商家们有的也偷奸取巧，不把明确的产品参数告诉消费者。 正因为此，今天把现在市面上网络机顶盒所采用的芯片技术做个简要整理（主要有全志、瑞芯微、海思、晶晨和炬力），不对的地方欢迎各位拍砖，但要手下留情哦！     各大芯片技术对比：（绝对让你大涨姿势！）         1. 全志     全志芯片，英文名Allwinner，总部位于珠海。全志在单核产品上用的是A10 ，虽然做单核产品并不早，但由于全志考上了ARM这个微
RK356X rockit_mpi解析 (二)裁剪、覆盖、旋转、时间戳
Y1anoohh的博客
04-07 749
rk_mpi实现裁剪缩放旋转时间戳
RV1106视频画面质量调节
qq_54017644的博客
07-26 711
在视频直播的产品中，编解码技术几乎相同，画面质量是决定产品好坏的关键。画面质量一般由QP参数、编码等级、编码GOP模式、码率控制四个方面共同决定。画面质量的好坏一般从两方面评判。一是运动画面，截取运动画面的一帧假如出现马赛克，说明画面质量很差；二是静止画面，假如物体是静止的，而呈现的画面却是带有呼吸效应的运动画面，说明画面质量很差；反之画面质量过关。
专用芯片技术中的瑞芯微RK3288最强GPU带宽分析
10-19
近期一些爱好者迫切想了解DDR带宽内存，翻看了网上一些相关的帖子，发现是由于我们缺乏和大家沟通和认知的偏差造成的，在此和大家进行讨论，和大家聊一聊关于带宽的事情，也欢迎大家积极和我们互动。 　　首先，我们说下带宽是由什么因素决定的？DDR的带宽主要受两个因素决定： 　　1、 受采用DDR颗粒影响 　　2、 受选用DDR控制器的效率影响 　　（这个DDR控制器在使用时会带来一定真实带宽损耗度，有些损耗度是DDR颗粒端造成的，有些损耗度是DDR控制器端造成的） 　　第二，带宽越大越好么？ 　　理论上带宽越大越好，但是高的带宽带来的是更高的功耗，这个要做好平衡。 　　如果一味追求高
LUCKFOX PICO MINI rv1103脱离sdk的例程使用cmake编写工程
eleclong1的博客
06-26 1468
主要介绍了从阅读了LUCKFOX PICO MINI SDK的meidia模块编译流程到写自己的cmake文件的这个过程，注意这个的前提是自己已经编译成功过了sdk，因为你只有编程成功了sdk，在你的sdk out目录里才会有编译好的动态库、头文件等，这个文档主要是自己分析文件的过程，自己阅读编译流程的时候，要想好最后怎么化简这个编译流程，最后写到cmake文件里。luckfox 魔改的官方sdk里主要使用了大量的makefile来管理编译流程，咱们自己写代码可以根据它的编译流程来用cmake进行编译。
目标检测 YOLOv5 - 基于 瑞芯微 Rockchip RKNN C API 实现
flyfish
09-27 2479
C++实现基于rockchip rknn的YOLOv5推理类
瑞芯微平台RK3568系统开发（3）Camera 开发2
最新发布
bingdund的博客
07-30 694
基于上文，继续。
rkmedia的使用
Linux驱动开发工程师，熟悉Linux/Android底层驱动、TP、显示、IIC、网络等通用外设调试适配，Linux上层应用开发，主要集中在瑞芯微和全志平台。
11-29 1667
RKMedia的核心思想是把各个硬件资源独立成模块，模块开放出输入和输出端通过绑定的方式控制流从某个模块流出并且流入另外一个模块一般由sensor传到CIF处理得到raw数据，如果需要ISP模块处理，就要再继续转交到ISP 和ISPP得到最终的YUV数据。代码目录：external/rkmedia/examples/本文以rkmedia_vi_vo_test.c为例，还有许多的例程，大家可以自行研究。具体地解释一下代码的功能。
rv1126 获取图像数据，实现图像裁剪、缩放、旋转【RK_MPI API接口】
学习记录
12-11 1万+
rv1126 图像 旋转 缩放 裁剪 格式转换
基于 瑞芯微 RK1126 平台的项目总结（包含AI 画中画 RTSP OSD 录像 双路摄像头）
baoecit的博客
02-17 2416
RK1126平台AI识别 画中画功能项目总结
国产化系统中遇到的视频花屏、卡顿以及延迟问题的记录与总结
热门推荐
dvlinker的技术专栏
03-21 3万+
国产化系统中遇到的视频花屏、卡顿以及延迟问题的记录与总结。
如何查看exe和dll等二进制文件的生成时间（时间戳）和位数（32位/64位）
dvlinker的技术专栏
07-26 51
本文讲述如何使用一些工具去查看exe和dll等二进制文件的生成时间（时间戳）和位数（32位/64位）。
校招总结—FPGA从入门到放弃
qq_31515205的博客
10-27 8089
校招总结—FPGA从入门到放弃 感谢咸鱼FPGA的授权转发，原文地址为https://www.cnblogs.com/xianyufpga/ 其实 offer 早就定下来了，最近忙着入党考试，现在才腾出时间来写个总结。我校招开始于 7 月底，算是比较晚了，后面加了各大校招交流群，发现很多同学都是过完年后就开始打磨项目、复习基础、寻找实习。对比之下我这准备确实仓促，不过结果还算满意。 ...
Security Processor 周边
holmeswf的博客
06-19 3649
Maxim Integrated Products, Inc推出DeepCover系列安全产品的最新成员：业内安全等级最高的高集成度微控制器MAX32590。器件先进的安全特性满足最新的安全标准要求，理想用于金融终端和新一代受信任设备，如具有多媒体功能的便携式EFT-POS终端。 ...
RV1126笔记十三：实现RTMP多路拉流
12-24 1918
RV1126实现RTMP多路拉流
HI_MPI_VPSS_GetChnFrame()获得的数据进行颜色空间转换问题
qq_37791134的博客
12-02 5383
static HI_VOID* SAMPLE_IVE_ViToVo(HI_VOID* pArgs) { HI_S32 s32Ret; SAMPLE_IVE_BG_MODEL_INFO_S* pstBgModelInfo; SAMPLE_IVE_BG_MODEL_S* pstBgModel; VIDEO_FRAME_INFO_S stBaseFrmInfo; ...
RK-MPP硬件编解码库介绍和使用
QQ135102692的博客
06-02 1万+
RK-MPP硬件编解码库介绍和使用
RK356X rockit_mpi解析 (一)实现HDMI输出
Y1anoohh的博客
04-07 1122
编译完的可执行文件在buildroot\output/rockchip_rk3568/target/usr/bin/rk_mpi_vi_test。熟悉瑞芯微RV1126的应该知道之前有一套rkmedia的框架，现在的rk3568已经不再是之前的旧框架了，但仍沿用了RK_MPI的内容。此处我们使用的demo为test_mpi_vi.cpp，编辑CMakeList.txt文件打开mpi_vi的编译。文件夹下的demo并不是全部编译的，要想编译哪个demo，可以编辑文件下的CMakeLists.txt文件。
RKMPP硬编码之mpi_enc_test .c解析
授之以鱼不如授之以渔
11-09 1247
RKMPP硬编码之mpi_enc_tst.c解析
瑞芯微电子的RK3588芯片的IP架构
06-09
瑞芯微电子的RK3588芯片是一款高性能处理器，其IP架构包括： 1. CPU IP：RK3588采用了瑞芯微自主研发的64位六核心CPU，其中包括4个Cortex-A76核心和2个Cortex-A55核心，主频高达2.4GHz，能够满足高性能计算需求。 2. GPU IP：RK3588的GPU采用了Mali-G52 MP2，能够支持Vulkan、OpenCL等多种图形和计算API，提供了强大的图形处理能力。 3. NPU IP：RK3588集成了瑞芯微自主研发的NPU IP，支持INT8/INT16/FP16等多种精度计算，能够提供高效的AI加速。 4. VPU IP：RK3588使用了VeriSilicon的VC9000D和VC9000E两款IP，支持8K视频解码和编码，能够提供出色的视频处理能力。 5. ISP IP：RK3588还集成了瑞芯微自主研发的ISP IP，能够提供高质量的图像处理和增强功能，支持多路摄像头输入和多种图像格式。 通过这些IP的集成，RK3588能够提供强大的计算、图形、视频和图像处理能力，适用于多种高端应用场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值