python立体匹配评价_综述翻译：机器学习与立体匹配(一)

原文链接：On the Synergies between Machine Learning and Stereo: a Survey​arxiv.org

入门双目立体匹配不久，欢迎大家对发现的问题评论区给予指正，一起学习交流！

摘要：立体匹配时计算机视觉中被长期广泛研究接近40年的问题。多年来，这个问题的研究也从经历了局部和像素层面的判断到结合离散与连续优化再到基于数据与学习的方法。近年来，随着机器学习的兴起以及深度学习的快速普及，立体匹配也带来了新的进展与运用。有趣的是，当机器学习特别是深度学习推动立体匹配发展的时候，也同时促进了一些新的理论方法，例如基于深度神经网络的自监督单目深度估计。在这份综述中，我们回顾了最近基于深度学习的图像深度估计，重点揭示了这些研究方法的之间的联系，取得的成果以及一些面临的挑战。

1. Introduction

自从计算机视觉的早期研究阶段，从图像中估测深度就一直是研究人员们头疼的问题。获取稠密并且准确的深度图对于解决高层次的视觉任务是非常关键的，例如三维重建，构图与定位还有自动驾驶等。这篇文章主要关注被动感知技术中的立体匹配以及相关问题。深度估计比较有效的还是依赖于主动式的传感器，例如结构光，ToF，LiDAR等。主动式的感知的特点是要对周围环境发出一些信号然后接受反馈的信号来获取深度信息。尽管非常准确，但还是有一些问题限制了在实际生产生活中的应用。例如，LiDAR 常见的依赖于一个或者多个激光发射器机械旋转来扫面周围环境，但这也常常面临由于一些激光在一些物理表面的吸收与反射带来的误差。另外，对于LiDAR来说只能获取到稀疏的深度信息，要想好的效果，在运用成本上也是个比较大的问题。对于结构光的设备，例如微软的Kinect，这种图案投影的技术检测范围只有几米并且在强光下效果差。

在另一方面，通过标准摄像头从图像上估计深度原则上是不受主动式传感器面临一些的限制。在本文提到的不同的技术中，立体匹配用两张矫正过的双目图像，通过去匹配共轭极线上的关联像素获得两张图像的视差，最后通过相似三角形原理计算出最后的深度信息。多年来的研究证明了双目测距的有效性，这样它有可能取代昂贵的主动传感器投入到实际的运用中。随着机器学习特别是深度学习在计算机视觉上的发展，虽然在立体匹配上运用较晚，但也同样取得显著的进步。同时，通过视角合成及自监督的方式实现单张图像的深度估计或者其他多视角原理，最近的研究表明深度学习在深度估计上前景是非常可观的。从Fig. 1 可以看到上述两种方法的结果是非常好的。

在本文中，我们综合的展示了最近几年通过立体匹配及相关研究在深度估计上取得的进步。从早期的通过机器学习来估测置信度，我们向读者朋友展现了近五年的研究，并且重点展现了目前取得的成果以及未来还要解决的一些问题。本文拓展了3DV 2018以及CVPR 2019上关于一些双目及单目深度估计讨论，同时，我们也觉得之前的一些立体匹配的综述也太老了。剩下的内容分以下几个部分：第2章主要介绍立体匹配领域一些较为常用的测试数据集以及认证榜单；第3章主要介绍了早期通过机器学习的方法来进行置信度估测的研究；第4章主要讲述了用基于数据学习的方法来代替传统的立体匹配中的一些步骤；第5章对基于端到端的立体匹配模型进行了回顾以及分类；第6章介绍了域适应的问题以及一些解决办法；最后第7章回顾了通过双目图像监督学习来进