文献阅读-Self-supervised Multi-view Stereo via Effective Co-Segmentation and Data-Augmentation

Self-supervised Multi-view Stereo via Effective Co-Segmentation and Data-Augmentation

1.四个问题
要解决什么问题？
自监督在多视图立体（MVS）重建中不稳定的问题
用了什么方法解决
为了解决这个问题，提出了一个框架，该框架与由语义协同分割和数据增强引导的更可靠的监督相结合。
特别地，从多视图图像中挖掘相互语义来指导语义一致性。 并且设计了有效的数据增强机制，通过将常规样本的预测视为伪地面实况来规范增强样本的预测，从而确保转换的鲁棒性。
效果如何
在无监督方法中实现性能飞跃，且与一些顶级监督方法媲美
还存在什么问题
（ 以前的自监督 MVS 方法很大程度上依赖于相同的颜色恒常性假设，假设不同视图之间的对应点具有相同的颜色。 然在现实场景中，各种因素可能会干扰颜色分布，例如光照条件、反射、噪声等。 因此，理想的自监督损耗很容易被这些常见的颜色干扰所混淆， 导致在具有挑战性的场景中的模糊监督，即颜色恒常性模糊。 ）
本文，自监督MVS方法的颜色恒常性歧义问题，不如监督类方法
论文简介：
**摘要：**最近的研究见证了基于视图合成的自监督方法在多视图立体 (MVS) 方面取得了明显进展。 然而，现有方法依赖于不同视图之间的对应点共享相同颜色的假设，这在实践中可能并不总是正确的。 这可能会导致不可靠的自监督信号并损害最终的重建性能。 为了解决这个问题，我们提出了一个框架，该框架与由语义协同分割和数据增强引导的更可靠的监督相结合。 特别地，我们从多视图图像中挖掘相互语义来指导语义一致性。 并且我们设计了有效的数据增强机制，通过将常规样本的预测视为伪地面实况来规范增强样本的预测，从而确保转换的鲁棒性。 在 DTU 数据集上的实验结果表明，我们提出的方法在无监督方法中达到了最先进的性能，甚至可以与监督方法相媲美。 此外，在 Tanks&Temples 数据集上的大量实验证明了所提出方法的有效泛化能力。
网络结构：

实验结果：