#每天一篇论文#232/365 Fusenet：通过基于融合的cnn架构将深度融入语义分割

FuseNet: Incorporating Depth into Semantic Segmentation via Fusion-based CNN Architecture（2017）

摘要

本文研究了基于rgb-d数据的室内场景语义标注问题。随着rgb-d相机的可用，预计额外的深度测量将提高精度。本文研究了一种利用卷积神经网络（cnns）将互补深度信息融合到语义分割框架中的方法。近年来，编解码型全卷积cnn结构在语义分割领域取得了巨大的成功。基于这一观察，我们提出了一种编码器-解码器型网络，其中编码器部分由两个网络分支组成，当网络变深时，这两个分支同时从rgb和深度图像中提取特征并将深度特征融合到rgb特征图中。综合实验评估表明，该融合架构在具有挑战性的sun-rgb-d基准上取得了与最新方法相媲美的结果，获得了76.27%的全局精度。平均分类准确率为48.30%，平均交叉联合得分为37.29%。

贡献

我们研究如何将互补的深度信息整合到语义分割框架中。为此，我们提出了一种编码器-解码器类型的网络，称为fusenet，其中编码器部分由两个网络分支组成，这两个分支同时从rgb和深度图像中提取特征，并随着网络的深入将深度特征融合到rgb特征图中（见图2）。
–我们提出并研究了rgb和深度通道融合的两种不同方法。我们还分析了所提出的网络体系结构，称为密集和稀疏融合（见图3），根据融合的级别。
–实验表明，我们提出的方法能够成功地融合rgb和深度信息，在杂乱的室内场景中进行语义分割。此外，我们的方法在具有挑战性的sun-rgb-d数据集上的分割精度评估方面与最新的方法取得了竞争性的结果

方法

实验结果