MVSNet（Pytorch）核心代码和算法讲解（三维重建）

视频在 B站

1.Data处理

这里以pytorch版MVSNet为例。
使用DTU training data（Fixed training cameras）

数据集共119个场景（Rectified文件夹中共119个文件，实际128个）
使用49个相机拍摄（Cameras/train文件夹中有49个记录参数的txt文件）
共7个仅光照不同的相同视角照片（Rectified/scan*_train文件夹中有49*7=343个文件）

通过train_dataset = MVSDataset()将上述信息记录在self.metas中，实际训练只使用79个场景，每个场景共7种光照信息和49组（每组10张）src视角，因次self.metas长度为$49\times 7\times 79=27097$。

通过enumerate(TrainImgLoader)加载图像和参数信息。

论文中traing使用3视角，因此view_ids长度为3

1. 加载图片信息，与其他任务（目标检测，跟踪）不同，这里只做了归一化没有水平翻转等操作.
2. 提取内参外参，并获得投影矩阵$P=K[R|t]$.
3. 根据ref_view提取深度值（根据最小深度、深度间隔、深度数量），掩码，和深度

2.特征提取

CNN 没什么好说的
维度由$[b,3,512,640]\to [b,32,128,160]$

可微分的单应性，构建cost volume

All feature maps are warped into different frontoparallel planes of the reference camera to form N feature volumes $V_i$

当$i=1$时为ref图像的$V_1$, 就是将ref特征复制$N=192$次。
当$i\ne 1$时为src图像的$V_n$,此时是已知$d,P_1,P_2$, 求$re{f}_{feature}$投影在$src$平面对应的$sr{c}_{feature}$,得到warped_src_fea。推导如下：
如图所示
已知条件$d,src\_project,ref\_project$, 求ref每个位置投影到src坐标中的每个位置，如图所示将$x_1\to x_2$ ，这两个点都对应sense中的$X$。
答：

1. $X_{ref}=d{K}_r^{-1}{x}_1$,如图中虚线表示。
2. $X_w=[R_r|t_r{]}^{-1}{X}_{ref}$，上一步中得到的空间中的点是在ref坐标系中，为了转到src坐标系中，需要先到世界坐标系中做个过度。
3. $X_{src}=[R_s|t_s]X_w$，过度完了，直接到src坐标系中。
4. $x_2=K_s{X}_{src}$，相机坐标系到像素坐标系变换。
5. 合并上述公式得到$x_2=d{K}_s[R_s|t_s][R_r|t_r{]}^{-1}{K}_r^{-1}{x}_1$
6. 其中$K_s[R_s|t_s]=src\_proj$,$[R_r|t_r{]}^{-1}{K}_r^{-1}=ref\_pro{j}^{-1}$,这就是proj = torch.matmul(src_proj, torch.inverse(ref_proj)的由来。

代码中xyz = torch.stack((x, y, torch.ones_like(x)))代表上述的$x_1$.
proj_xyz = rot_depth_xyz + trans.view(batch, 3, 1, 1)代表了$x_2=d{K}_s[R_s|t_s][R_r|t_r{]}^{-1}{K}_r^{-1}{x}_1$

使用F.grid_sample函数将$src\_feture$填充到$x_2$，就直接得到warp后的V(warped_src_fea)。
随后根据$warped\_volume$,生成$Costvolume$，如公式2。

3.cost volume regularization

此步骤的目的是因为上一步生成的$Costvolume$受到了噪音污染而且应结合平滑度约束来推断深度图。

正则化步骤是设计是精炼$Costvolume$生成$Probabilityvolume，P$，方式是$3DCNN+Softmax$，维度为$[b,192,128,160]$

4.Depth Map Refinement

此步骤的目的是因为正则化步骤中大的感受野引起的过平滑，然而代码中这步没用。
depth计算如公式3。
$Probabilityvolume，P$在错误匹配的像素，它的分布是分散的，因此作者直接简单地取四个最接近深度假设的概率和来衡量估计质量。具体方法如代码所示，最后得到prob_volume_sum4, depth_index, photometric_confidence