**
FuseNet: Incorporating Depth into Semantic Segmentation via Fusion-based CNN Architecture
在本文中,我们解决了室内场景理解的问题,假设RGB和深度信息同时可用(见图1)。这个问题在包括机器人在内的许多感知应用中相当关键。我们注意到,虽然室内场景具有丰富的语义信息,但由于对象的遮挡和背景的杂乱,它们通常比室外场景更具挑战性。例如,室内对象类(如椅子、餐桌和窗帘)比室外对象类(如汽车、道路、建筑和天空)更难识别。
**
A.摘要
B.贡献
C.方法
D.实验
A.摘要
本文讨论了室内场景在RGB-D数据上的语义标注问题。随着RGB-D相机的可用性,预计额外的深度测量将提高精度。本文研究了一种利用卷积神经网络(CNN)将互补深度信息整合到语义分割框架中的方法。近年来,编码器-解码器全卷积CNN体系结构在语义分割领域取得了巨大的成功。基于这一观察,我们提出了一种编码器-解码器类型的网络,其中编码器部分由两个网络分支组成,它们同时从RGB和深度图像中提取特征,并随着网络的深入将深度特征融合到RGB特征图中。综合实验评估表明,所提出的基于融合的体系结构在具有挑战性的SUN RGB-D基准测试中获得了最先进的方法,获得了76.27%的全局精度、48.30%的平均类精度和37.29%的平均相交精度,而不需要进行任何测试。
B.贡献
我们研究了如何将互补深度信息合并到语义分割框架中的解决方案。为此,我们提出了一种编码器-解码器类型的网络,称为fusenet,其中编码器部分由两个网络分支组成,这些网络同时从RGB和深度图像中提取特征,并随着网络的深入将深度特征融合到RGB特征图中;
我们提出并研究了两种不同的方法融合的RGB和深度通道。我们还分析了所提议的网络架构,即密集和稀疏融合(参见图3),从融合的级别来看;
实验结果表明,该方法能够在杂乱的室内场景中融合RGB和深度信息进行语义分割。此外,我们的方法在对具有挑战性的sun rgb-d数据集[10]进行分割精度评估方面与最先进的方法取得了竞争性的结果。
C.方法
The State of the Arts on RGB-D Data HHA表示方法
Gupta等人提出了深度信息的新表示。这种表示法被称为hha,由三个通道组成:视差、像素高度和法线与重力矢量之间的角度,分别基于估计的底层。通过使用hha表示,在分割精度方面取得了表面改进[1]。另一方面,仅从RGB通道检索到的信息仍然主导着hha表示。正如我们将在第4节中看到的,hha表示所包含的信息不超过深度本身。此外,计算hha表示需要很高的计算成本。本文研究了一种以较少的计算量开发深度信息的较好方法。
FuseNet结构
我们提出了一种编码器-解码器类型的网络结构,如图2所示。该网络主要由两部分组成:1)编码器部分提取特征,2)解码器部分将特征映射采样回原始输入分辨率。这种编码器-解码器的风格已经在以前的一些作品中引入,如deconvnet[6]和segnet[13],并取得了良好的分割性能。虽然我们提出的网络是基于这种类型的架构,但我们进一步考虑有两个编码器分支。这两个分支从RGB和深度图像中提取特征。我们注意到深度图像被标准化为与彩色图像具有相同的值范围,即在[0255]的间隔内。为了结合来自两个输入模块的信息,我们将深度分支的特征映射融合到RGB分支的特征映射中。
特征融合
输入RGB特征和depth特征融合
D.实验结果