NvMedia整体介绍
图像处理和管理
NvMedia支持以下几个处理:
- 处理NvSciBufObj带过来的图像数据
- 支持注册NvSciBufObj进行处理。
- 支持按图像特定的元数据作为NvSciBufObj的一部分。
NvMedia分为下面几个部分:
Image 2D
该组件支持对图像进行拷贝、缩放、裁剪等操作。它操作的图像格式为RGB或者YUV,也支持两种格式的转化。它支持图像聚合操作。
IEP
该组件支持将YUV格式图像编码成H.264/H.265/AV1格式视频流。
详细内容参考:IEP描述
IJPE
- Baseline ITU-T T.81 / ISO/IEC 10918-1
- Programmable Huffman Table
- Programmable Quant Table
- 8bit YUV420 semi-planar Input Format
- 8bit YUV420 planar input format
- Rate control i.e. target image size
- Quality factor parameter from 1 (lowest quality) to 100 (highest quality)
IJPD
详细内容参考:IJPD描述
OFA
OFA可以分为两种模式:
立体视差模式:在这种模式下,该模块通过左图像和右图像来产生立体视差,从而进行物体深度测量。
光追模式:该模块通过前后两幅图像,来产生光流向量。
应用场景:
详细内容见链接:OFA描述
SIPL
SIPL框架是用来提供HDR摄像头数据来给用户或者机器视觉。它可以处理单个相机,也可以处理多个相机链接到聚合器的场景。
NvMedia Tensor
目前,NvMedia仅支持4维张量:
NvMedia Tensor与NvMedia DLA组件一起使用
可以通过使用NvSciBuf API通过NvMedia Tensor属性分配NvSciBuf来创建NvMedia张量。由于NvSciBuf API有助于NvMedia和NVIDIA®CUDA®之间的数据共享,这使得分配的张量可以在NvSciBuf API允许的情况下重复使用。
NvSciSync
NvSciSync组件使得NvMedia组件可以与其他组件保持同步,比如CUDA组件、基于NvSciSync的组件等。
NvSciSync支持针对高级驾驶员辅助系统(ADAS)和自主应用程序开发的image组件。它们不支持NvMedia视频组件。
有NvSciSync扩展的组件支持:
- Accepting an NvSciSyncFence object when the NvMedia engine is used as a waiter
- Returning an NvSciSyncFence object when the NvMedia engine is used as a signaler
其中的定义:
Frame:硬件加速引擎可以操作的最小数据单元。
SOF Fence:表示硬件加速引擎已经开始处理数据。
EOF Fence:表示硬件加速引擎已经把数据处理完了,并切有数据可用了。
PRE Fence:一个fence开始处理之后被blocked住,然后直到fence结束。
SIPL介绍
SIPL在用户层可以抽象为下面两种功能:
- 配置外部摄像头、EEPROM、加串器、解串器等。
- 配置硬件和对应pipeline来捕获处理图像数据。