#每天一篇论文#（224/365）基于rgbd感知的增量式种类发现语义分割

Incremental Class Discovery for Semantic Segmentation with RGBD Sensing

摘要

这项工作解决了开放世界语义分割的任务，使用rgbd感知来发现新的语义类。虽然现实世界中的对象类型很多，但现有的语义分割方法都是基于封闭世界的假设，只训练有限数量的对象类。针对一种更开放的方法，我们提出了一种增量学习新类的图像分割方法。该系统首先利用颜色和几何信息对每个rgbd帧进行分割，然后对分割后的rgbd帧进行信息聚合，形成一个单一的密集的3d环境图。分割的三维地图表示是我们方法的一个关键组成部分，因为它用于通过识别三维地图中没有语义标签的相干区域来发现新的对象类。在三维地图中使用相干区域作为原始元素，而不是传统元素，如曲面或体素，这也显著降低了我们方法的计算复杂度和内存使用。因此，当在每一帧处递增地更新密集的3d地图时，它可以在10.7hz下获得半实时性能。通过在nyudv2数据集上的实验，证明了该方法能够正确地对已知类和未知类的对象进行聚类。并与现有的监督方法进行了定量比较，给出了各步骤的处理时间和各组成部分的影响。

贡献

本文的主要贡献如下：、
（1）在现有知识的基础上，提出了第一个能够正确发现三维地图中已知和未知对象簇的语义映射系统；
（2）为了有效地处理聚类中的深层特征和几何线索，我们提出利用CNN的概率分布熵来估计CNN深层特征的可靠性。然后我们使用估计的置信度来加权这两类特征；
（3）我们建议在分配/更新特征和聚类时使用分段而不是元素（即surfel和体素），以有效地降低计算成本和空间复杂度。使整个框架能够半实时运行；
（4）利用几何信息和颜色信息对三维地图中的目标建议进行改进。对于几何特征较差的区域（如墙上的图片）尤其重要；
（5）通过在数据集中的一个子集上训练CNN，并使用该方法发现另一个子集，证明了该系统的有效性和有效性。

方法

输入RGBD图像，建立3D语义地图，然后进行增量是聚类，增加了在线特征提取和3D语义聚类分割。

特征提取

为了准确地关联同一类的对象或发现新的对象类，我们需要一种在三维分割图中估计对象段之间相似性的方法。虽然相似性的度量可以像计算颜色空间中的距离一样简单，但要准确地确定对象类，就需要进行更有意义的度量。此外，由于对象经常出现在一个连续视频的多个帧上，我们可以利用以前的帧来改进相似性度量。最后，由于记录前一帧的所有信息是昂贵的，我们需要一种有效的方法来存储过去的信息。

实验