文章阅读 - DeepMVS: Learning Multi-view Stereopsis (CVPR 2018)

背景

传统的MVS难以处理弱纹理区域、瘦小的结构以及反射和投射的表面，需要基于深度学习的算法。

相关工作

传统的MVS

最近较好的算法：鲁棒的邻近视角选择 [1]、visibility一致性 [2]、clustering-based技术 [3-4]

缺点：难以处理弱纹理和反射表面，没有利用光照、阴影以及语义信息等。

基于学习的MVS

以plane-sweep volumn为输入，计算每个参考图像的视差图 [5-7]。缺点：输入图像数量需要固定。

volumetric方法 [8-9]。缺点：体素的维度受显存限制。

从simulation中学习

合成数据方便且改善性能。

网络结构

 

Refinement：Dense-CRF [10]

训练

数据集：DeMoN、MVS-Synth

过程：第一次训练，用两个3x3卷积层代替intra-volume feature aggregation网络；第二次训练，加入intra-volume feature aggregation网络，并使用第一次训练得到的参数。约束每层梯度的L2范数，第一次不超过1.0，第二次不超过0.1。

实验结果

评估参数：geometric误差（计算出的视差以及ground truth间的L1距离）、photometric误差（参考图像和重投影图像间的L1距离）以及completeness（误差小于一定阈值的像素点所占的比例）。

定性评价

对于弱纹理区域，例如天空、白墙等，colmap的结果比较差，而Our能够给天空赋予0的视差并且能够给弱纹理区域安排接近ground truth的结果。

对于重投影图像，COLMAP精度较高但空洞较多，OUR空洞较少，但边缘地方表现较差（部分由于离散的视差？）。

定量评价

其他评估结果

OUR相较COLMAP对N更鲁棒。

 

真实场景中没有天空的ground truth数据，导致错误。

局限性

1. 量化的视差
2. 难以处理瘦小的结构（植被区）
3. plane-sweep的生成以及较深的网络导致时间消耗大

参考文献

[1] F. Langguth, K. Sunkavalli, S. Hadap, and M. Goesele. Shading-aware multi-view stereo. In ECCV, 2016.

[2] Y. Furukawa and J. Ponce. Accurate, dense, and robust multiview stereopsis. IEEE transactions on pattern analysis and machine intelligence, 32(8):1362–1376, 2010.

[3] Y. Furukawa, B. Curless, S. M. Seitz, and R. Szeliski. Towards internet-scale multi-view stereo. In CVPR, 2010.

[4] M. Goesele, N. Snavely, B. Curless, H. Hoppe, and S. M. Seitz. Multi-view stereo for community photo collections. In ICCV, 2007.

[5] J. Flynn, I. Neulander, J. Philbin, and N. Snavely. Deepstereo: Learning to predict new views from the world’s imagery. In CVPR, 2016.

[6] A. Kendall, H. Martirosyan, S. Dasgupta, P. Henry, R. Kennedy, A. Bachrach, and A. Bry. End-to-end learning of geometry and context for deep stereo regression. In ICCV, 2017.

[7] B. Ummenhofer, H. Zhou, J. Uhrig, N. Mayer, E. Ilg, A. Dosovitskiy, and T. Brox. Demon: Depth and motion network for learning monocular stereo. In CVPR, 2017.

[8] C. B. Choy, D. Xu, J. Gwak, K. Chen, and S. Savarese. 3dr2n2: A unified approach for single and multi-view 3d object reconstruction. In ECCV, 2016.

[9] A. Kar, C. H¨ane, and J. Malik. Learning a multi-view stereo machine. In NIPS, 2017.

[10] P. Kr¨ahenb¨uhl and V. Koltun. Efficient inference in fully connected crfs with gaussian edge potentials. In J. Shawe-Taylor, R. S. Zemel, P. L. Bartlett, F. Pereira, and K. Q.Weinberger, editors, NIPS, pages 109–117. 2011.

 

附

文章主页：https://phuang17.github.io/DeepMVS/index.html

代码地址：https://github.com/phuang17/DeepMVS