MVS文章持续更新中~

多视角立体（MVS）相关文章总结

---

前言

作者：cxy
邮箱：1023499614@qq.com
根据本人的学习情况，持续更新~

---

1.MVSNet: Depth Inference for Unstructured Multi-view Stereo[ECCV2018]

文章链接: https://arxiv.org/pdf/1804.02505.pdf
pytorch代码:https://github.com/xy-guo/MVSNet_pytorch

MVS系列的开山鼻祖，输入为N张Source Image（后用sou)和1张Reference Image(后用Ref)来推断ref的深度图，即ref每个点与相机光心的距离值。
先利用ResNet（共享权重）提取每张图像（N+1张）的特征。
划分Z个预设深度值，假设ref上的每个像素点都处于同一个深度值，因此将ref前的空间划分为了Z个平面。然后利用每张相片的相机参数根据单应性变换将N+1张图片上每个点的特征（H,W维度）基于不同预设深度值（Z维度）warp到ref对应的位置上，对于任一深度预设值d，使得ref图像上的一个点和其他每张sou上的一个点产生了联系。对这N个点的特征计算方差得到了ref上这个点在深度d的差异性，由此我们得到了Cost Volume（后用cost)
后面对cost经过U-Net来完成正则化操作（对cost做平滑），输出一个probability volume，表示每个点在各个不同深度的概率值，这也对后面判断这个点的深度估计置信提供了依据。沿着Z维度回归得到初始的深度图。
作者认为前面的U-Net正则化，使得边界过于平滑了，因此将原图像的RGB通道concate到初始深度图上经过一些2D卷积使得边界更尖锐，最后加上原始深度图的响应，得到了最终的深度图。

---

2.Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching[CVPR2020]

文章链接: https://arxiv.org/pdf/1912.06378.pdf
pytorch代码:https://github.com/alibaba/cascade-stereo

本文与MVS-Net不同之处主要有二：
1.提取多张图像特征时，采用了FPN，提取多个尺度的特征
2.第一阶段先采用最小尺寸的特征生成cost volume再做正则化（和MVSNet一摸一样），第二阶段利用较高尺寸的特征，此处利用上一个阶段得到的深度图上采样获得每个点的初始深度，在初始深度的基础上精细划分预设深度（Cascade体现的淋漓尽致），得到cost volume以后如MVS-Net一摸一样，此处不再赘述。
和MVSNet相比是又快又好啊。。。

---

3.PatchmatchNet: Learned Multi-View Patchmatch Stereo[CVPR2021 Oral]

文章链接: https://arxiv.org/pdf/2012.01411.pdf
pytorch代码:https://github.com/FangjinhuaWang/PatchmatchNet


利用cascade层级化思想，并且每一个stage会额外迭代一次，每个点的预设深度考虑为这个点的周围点的深度（从上一步的深度图得到）（此处运用可变形卷积考虑边界不连续性），在patchmatch的模块当中将c通道特征分为G个group两两（一张source，一张reference）计算相似性，最后结合N个相似性张量得到cost volume，在cost volumn正则化的时候再次利用可变形卷积考虑边界不连续性，每个点的代价应当对周围几个点的cost做一个加权，最后回归得到深度图。

---

# 总结