SGM-Nets: Semi-global matching with neural networks

SGM-Nets: Semi-global matching with neural networks

 

摘要：这篇文章用深度神经网络利用半全局匹配来预测精确密集视差图。SGM是一种广泛使用的对于真实场景的优化方法因为他的高精度和快速计算速度。尽管SGM可以得到精确结果，调整SGM惩罚系数控制视差图的平滑和不连续，是不简单的，并基于经验提出了方法。我们提出一种基于惩罚估计的学习，SGM-Net，由卷积神经网络组成。将小图像块和他的位置输入SGM-Net来预测3d目标结构的惩罚。为了训练网络，我们引入了新的损失函数，能够用稀疏注释视差图。此外，我们还提出一种新颖的SGM参数化，跟着正负差异变化来决定不同惩罚，以便更有区别表示对象结构。

 

1介绍

KITTI网站，许多最近研究都集中在用深度学习的精确局部对应关系方法和用半全局来优化。最近深度学习方法 如FlowNet DispNet提出端到端的方法。然后这些方法与标准流程相比还没有达到足够的精度。我们猜测原因是培训和测试数据集之间的差异。

本文 ，我们关注标准流程的优化部分，因为已经提出了许多局部对应方法。SGM是一直广泛的优化方法，因为它的高精度同时保持低计算代价。SGM有惩罚，控制视差图的不平滑和不连续。但是惩罚都是手动设计的而且不易调整。

我们认为 惩罚应该根据3d目标结构而不同。比如，惩罚应该抓住道路平滑的事实。我们用cnn提出了一个基于惩罚预测的学习方法，cnn提供了一个原始级别处理（立体对应关系）到高级别处理（场景分类和目标检测）的高性能。Cnn提供了一种有前景的方法，然而对于这种任务不是直截了当的。如何训练和构造CNN对于SGM？

贡献如下

1基于惩罚估计的学习SGM。为了训练神经网络提出新损失函数，输入小块和其位置。第一次利用神经网络对于SGM。

2 新SGM参数化。根据正负视差变化分布不同惩罚，以区别表示目标结构。

3 定量评估。

 

 

2相关工作

视差估计的标准流程包括两部分：局部对应关系和优化。基于对应关系函数的学习被广泛的研究。他们利用CNN处理本地对应关系并手动调整SGM来优化。

手动调整SGM惩罚 目前为止，SGM惩罚手动调整和设计。最简单方式是把惩罚固定在图像上。另一种假设是有大梯度的像素更可能是不连续，因此像素惩罚应该减轻以允许视差跳跃。更近方法中，惩罚被设置的很小，不仅在参考的图像的边缘被检测，在目标图像相应位置边缘一致。估计立体通信的置信度，信任具有高置信度的像素。

基于惩罚学习MRF。条件随机场参数学习方法被踢出了，参数手动调整间隔学习图像梯度。一些用CNN学习CRF参数的方法被提出来。但是，目标是语义分割，他们表述和想法没有应用于学习SGM惩罚。最近，立体匹配方法被提出来，但是一下能量项（局部平滑和目标惩罚）手动设计。

 

3半全局匹配