RGB-D图像知识以及与HHA的关系

RGB-D
RGB-D=RGB + Depth Map
从RGB图像中，是无法获取深度信息的，但Depth Map，也就是深度图像的每个像素点的灰度值是可以表征场景中某一点距离摄像机的远近的，包含与视点的场景对象的表面距离有关的信息的图像或图像通道，类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系。

RGB-D图像的HHA编码
在处理RGB-D图像时，常将其转化为HHA编码的图像，该编码方式由Gupta[1]提出。
CNN对标准RGB视觉任务很有用，这些视任务包括图像分类，物体检测，语义分割以及细粒度分类。HHA是对R-CNN网络进行了推广，让其能够适用于RGB-D数据，企图从深度图数据中提取出类似于灰度图像的丰富信息。这种编码方式捕获图像中的底薪姿态，比单纯使用深度通道有了明显的改进。具体的HHA指
Horizontal disparity, height above ground, and the angle the pixel’s local surface normal makes with the inferred gravity direction.
也就是在每个像素上用三个通道编码深度图像将深度图像——水平差异，离地高度，像素局部表面法向量和中立方向的夹角。所有的通道将训练数据集上的观测值通过线性缩放，映射到0-255的范围。

[1] Gupta S, Girshick R, Arbeláez P, et al. Learning Rich Features from RGB-D Images for Object Detection and Segmentation[J]. 2014, 8695:345-360.