#学习论文#第一篇：DA-RNN: Semantic Mapping with Data AssociatedRecurrent Neural Networks

DA-RNN: Semantic Mapping with Data Associated Recurrent Neural Networks

DA-RNN ：基于数据有关的循环神经网络的语义建图

Y u Xiang and Dieter Fox
Paul G. Allen School of Computer Science & Engineering
University of Washington
{yuxiang, fox}@cs.washington.edu

Asbract：对于机器人来说，3d场景的理解与3d世界进行有意义的交互是至关重要的。以往大多数的3d场景的理解的有关工作聚焦于一个独立识别场景的几何属性或语义属性。在这个工作中，我们介绍了基于数据有关的循环神经网络的语义建图，是一个新的框架，它结合了3d场景建图和语义标签。DA-RNNs使用一种新的循环神经网络对RGB-D视频进行语义标注。网络的输出是结合建图技术，例如KinectFusion为了个重建的3d地图加上语义信息。实验表明我们的方法在真实的世界中和人工合成的RGB-D视频中展现出了良好的效果。

一、Introduction

1、一种新的卷积神经网络可以用于RGB-D的语义标签，还具有与新的数据相关的循环单元，用以捕捉视频帧之间的联系。

2、我们为DA-RU引入了一种新的更新规则，以执行隐藏状态移动的平均值进行加权。

3、我们将DA-RNN与KinectFusion集成在一起，进行语义3D场景重建。

4、我们在RGB-D Scene数据集[18]上贡献了像素语义标签，并提供了一个新的合成数据集，这有利于未来对3D语义建图的研究。

二、Related work

1、稠密3d场景的重建

使用 KinectFusion [21] 来实现体积几何和语义的表示。

2、语义标签

提出了一种循环神经网络架构，该架构紧密集成了信息包含在 RGB-D 视频流的多个视点中。

三、Method

首先，我们要描述的设计为了单帧语义标记的卷积神经网络。

然后，我们将单帧网络扩展到循环神经网络，用于视频的语义标记。最后，我们将循环神经网络与KinectFusion[21]集成，以便在语义上重建3D场景。

图片2，所展示的结构分为三部分，第一部分是特征提取，有13个卷积层和4个池化层组成，第二部分是嵌入层，把第一部分所产生的512维度的特征向量嵌入到64维度的空间当中，再使用反卷积提高特征图像的分辨率，在嵌入阶段，从早些卷积层的特征和反卷积的第一层特征跨越结合，是为了[19]。第三阶段是使用卷积层把每个像素进行语义分类。此卷积层的输出被视为像素的标记分数，像素有 n 个通道，其中 n 个语义类的数量。通过在标记分数上应用softmax层，我们可以获得像素的类概率。

图片3，双线网络：用不同的卷积层对RGD图像和深度图像分别进行特征提取。这些图层与单线网络中的特征提取阶段具有相同的结构。为了集合两种类型的特征，介绍了两种聚合层，把RGB图像中提取的512维度特征与深度图像堆积起来，生成1024维的特征。然后再嵌入到64维空间并归一到单线网络中。

 图像4，基于我们用于单帧标记的双流网络，我们引入了一个循环层，该层将当前帧的嵌入特征作为输入并生成用于分类的新特征。循环图层旨在将前一帧中的要素与当前帧中的要素组合在一起，以便跨帧利用信息。具体而言，循环图层包含每个像素位置的一个循环单元。这些循环单元维护和更新其隐藏状态，存储以前的信息框架。循环单元的输出取决于它们的输入和隐藏状态。

我们引入了一个新的循环单元，该单元明确设计用于跨视频帧融合功能，并且可以通过使用整流线性单元（ReLU）作为激活函数来更有效地训练。

数学公式（略）

四、Conclusion

为了实现紧凑的网络表示，循环推理仅在环境的当前可见部分上执行，使用数据关联来定义循环单元之间的连接。RNN 预测的标签将融合到 KinectFusion 映射中，以实现密集的语义建图。在真实世界数据集和RGB-D视频的合成数据集上进行实验。实验结果和分析验证了该方法在视频语义标注和三维场景映射方面的优势。DA-RNNs 最大的优势就是灵活，虽然本文侧重于对象类标记，但我们相信相同的架构可以应用于训练网络，以解决各种语义标记问题，包括对象实例和姿势检测、材料识别和物理支撑估计。帧之间的数据关联也可以以不同的方式获得，例如使用光流方法。另一个有希望的改进途径是整合3D地图提供的形状信息。