知识储备
RGB-D(深度图像)
深度图像 = 普通的RGB三通道彩色图像 + Depth Map
Depth Map(深度图)是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中,Depth Map 类似于灰度图像,只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的,因而像素点之间具有一对一的对应关系。
图像深度
图像深度 是指存储每个像素所用的位数,也用于量度图像的色彩分辨率。
图像深度 确定彩色图像的每个像素可能有的颜色数,或者确定灰度图像的每个像素可能有的灰度级数。它决定了彩色图像中可出现的最多颜色数,或灰度图像中的最大灰度等级。比如一幅单色图像,若每个像素有8位,则最大灰度数目为2的8次方,即256。一幅彩色图像RGB三通道的像素位数分别为4,4,2,则最大颜色数目为2的4+4+2次方,即1024,就是说像素的深度为10位,每个像素可以是1024种颜色中的一种。
**
目前遇到的问题
1.现有的基于SOD的CNN网络主要用于处理RGB图像,当目标和背景拥有相似的外观时容易分辨不清。
2.如何有效的利用深度信息,尤其在深度神经网络方面仍然有很多未被探索。
3.现有的RGBD通过简单的串联将RGB和深度特征进行融合,不管是在前期中期还是后期。这种直接的交叉融合会产生两个问题:
1)缺乏高质量的Depth maps,相比于RGB图像产生更多噪音并且结构不清。缺少良好的pre-trained网络从depth maps提取特征。
2&