每天一篇论文 321/365SIGNet: Semantic Instance Aided Unsupervised 3D Geometry Perception

每天一篇论文汇总list

SIGNet: Semantic Instance Aided Unsupervised 3D Geometry Perception

Code

摘要

几何感知的无监督学习（深度、光流等）是自主系统研究的热点，近年来的无监督学习在几何感知方面取得了长足的进展，但它们往往忽略了物体的相干性，在黑暗和噪声环境下表现较差。相比之下，具有鲁棒性的有监督学习算法需要大的标注几何数据集。本文介绍了SIGNet，一个新的框架，它提供了稳健的几何感知，而不需要几何信息标签。特别地，SIGNet集成了语义信息，使得深度和流量预测与对象一致，并且对低光照条件具有鲁棒性。SIGNet被证明可以将深度预测的最新无监督学习提高30%（平方相对误差）。特别地，SIGNet在深度预测和流预测方面分别提高了39%和29%的动态对象类性能。

贡献

使用了DeepLabv3+和Mask R-CNN：
•通过将语义分割用于特征和损失增强，我们提出的算法将深度估计的平方相对误差提高了28%，相比于最新的无监督GeoNe。
•单独的特征增强，结合语义和实例级信息，带来更大的收益。对于类级和实例级特征，深度预测的平方相对误差比基线提高了30%。
•最后，对于常见的动态对象类（例如车辆），SIGNet显示深度预测提高了39%（平方相对误差），流量预测提高了29%，从而表明语义信息对于提高对象动态类别的性能非常有用。此外，与基线相比，SIGNet对图像强度中的噪声具有鲁棒性。

方法

由于语义标签的噪声和非常深的结构，语义预测的信息可能会减少。因此，我们设计了基于语义信息的训练损失函数。在这种设计中，语义预测为网络提供了额外的损耗约束。
语义损失函数
语义预测有助于了解RGB图像的重建在像素值方面是正确的，但违反了明显的语义对应关系的场景，例如将像素匹配到不正确的语义类和/或实例。有鉴于此，我们建议在对RGB图像重建语义预测的基础上，再重建语义预测。我们称之为“语义偏差损失”，因为它是基于语义预测从源帧到目标帧的偏差。

语义重建

语义边界感知损失

实验

语义深度估计

光流 估计