Jetson Orin MultiMedia 使用总结

1.Jetson Orin /Xavier 对于图片的输入以及输出处理有一套特定的API。代码存放在/usr/src/jetson_multimedia_api中。

2.其中最主要的几个头文件：缓存管理申请 nvbufsurface.h 缓存转换 nvbufsurftransform.h 显示 nvosd.h 以及显示模块。

3.YUV转RGB来分析一下各个头文件是的使用。

先展示一下 YUV转换效果图：视频原始文件来源 squirrel-720x576-422P.yuv

从输入开始

YUV片源是422P的格式。这个格式说明YUV三个分量是分开存放。因此解析时候要注意图片的格式。【422相对420格式只有一个plane，420的格式会有三个plane分别存放Y U V 分量】

YUV422P 存放在文件中其实也有两种格式：左图UV 左右结构，右图为上下结构。具体要按照YUV片源读取后判断格式形状。

知道代码格式后就是从YUV源文件读取数据，读取的内容如下：

std::ifstream *stream

stream->read(sufaceList->mappedAddr.addr[plane] + surfaceList->planeParams.pitch[plane],

width*bytesPerPix);

解释一下pitch和width的区别：

首先是按照格式参数 YUV422 YUV420 YUV444等，具体按照图片的长宽来分配具体的缓存大小。对于422而言 pitch = width x 2 + margin。pitch 多少是实际的输入参数宽度对齐的结果。值得注意的是V4L2框架分配的缓存对齐的效果和nvsurface是相同的。这些会在后续文章会详细介绍。

有了图片同样有了输入的缓存大小以及形状，后面就可以处理YUV的数据了。

处理通过CUDA来处理，说明一点 这里的处理后的outbuf 是cudaMallocHost的分配结果，CPU和GPU可以共享，不需要额外的映射 Map的操作。输入的YUV数据缓存是nvsurface分配而来，分配后需要注册到GPU空间，即CUDA可以访问。同时也要通过surface的映射函数映射到CPU空间。应为该区域通过文件操作输入YUV数据。这块内容后续文章详细介绍。

核函数分析：

首先分析了一下 720 x 576 读取后的图片格式为 1440 x 576 如上图所示。特别需要注意的是 U V 分量开始的点 分别为 288 和 432，高 / 2 和 高度 3/4的起点。

大循环 288 次 图片  

for(int row = 0;row < height/2; ++row)

{

        if(idx > 720)

                return;

        Y0 = SRC[p*row+idx*2 + 0] ;

        Y1 = SRC[p*row+idx*2 + 1] ;

        if(row%2 == 0)

        {

        U  = SRC[p*row+ p*height/2 + idx]; 

        V  = SRC[p*row+ p*height*3/4 + idx];

        } else {

        U  = SRC[p*row+ p*height/2 + width + idx]; 

        V  = SRC[p*row+ p*height*3/4 + width + idx];

        UV_ROW++;

        }

       //偶数行 对应 720个 RGB ，如果当idx > 360 后换行存放在奇数行

        dst[2*row*width*3 + idx * 6 + 0] = R1;

        dst[2*row*width*3 + idx * 6 + 1] = G1;

        dst[2*row*width*3 + idx * 6 + 2] = B1;

        dst[2*row*width*3 + idx * 6 + 3] = R2;

        dst[2*row*width*3 + idx * 6 + 4] = G2;

        dst[2*row*width*3 + idx * 6 + 5] = B2;

        if(idx > 360)

       {

        dst[(2*row+1)*width*3 + (idx-360) * 6 + 0] = R1;

        dst[(2*row+1)*width*3 + (idx-360) * 6+ 1] = G1;

        dst[(2*row+1)*width*3 + (idx-360) * 6 + 2] = B1;

        dst[(2*row+1)*width*3 + (idx-360) * 6 + 3] = R2;

        dst[(2*row+1)*width*3 + (idx-360) * 6 + 4] = G2;

        dst[(2*row+1)*width*3 + (idx-360) * 6 + 5] = B2;

        }

}

转换示意图：