论文阅读《MVS Net：Depth Inference for UNstructured Multi-view Stereo》

MVS Net：Depth Inference for UNstructured Multi-view Stereo

---

论文地址： https://arxiv.org/abs/1804.02505
项目地址： https://github.com/YoYo000/MVSNet

---

一、Background（背景）

• 多视图立体匹配（Multi-view Stereo, MVS）是计算机领域中一个核心问题，其目的是通过不同视点拍摄的图像，恢复出真实的三维场景。

• 传统的三维重建使用手工设计的相似性度量指标和正则化方法计算场景的稠密对应关系。这些方法在非朗伯体表面、无弱纹理区域的场景可以达到很好的效果。但是在弱纹理区域和朗伯体表面，手工设计的相似性指标变得不可信，导致重建结果不完整。

---

二、Framework（网络架构）

• 针对传统的手工特征设计的特征鲁棒性不强的问题，作者将深度学习引入到三维重构中。

  1. 在2D图像上进行特征提取得到特征图。
  2. 通过可微分的单应变换，基于参考视图的相机视锥体构建3D代价体。
  3. 使用3D卷积对代价体进行正则化，回归得到初始深度图。
  4. 通过参考视图图像优化得到最后的估计的深度图。
     

---

1、Feature extraction（特征提取）

• 每个batch选定N张图片，其中一张为参考视图(Reference image)，其余为源视图(Source images)。
• 对选定的$I_1$(Reference image)和多张$[I_i{]}_2^N$(Source images)用CNN进行特征提取，经过两次strides为2的缩放，得到channel为32，长和宽分别为h/4和w/4的feature map;
• 为了减小参数量和提高计算效率，Feature Extraction Network权值共享。
• 经过CNN特征提取的特征图，具有较高的语义信息和上下文信息。

---

2、Differentiable Homography（可微分单应性变化）

• 因为$I_1$和$[I_i{]}_2^N$的视角不一致，模型的目的是估计参考视图$I_1$的深度图，需要将$[I_i{]}_2^N$经过可微分的单应变换warp到$I_1$对应的相机坐标系内。
• 根据先验的深度范围信息，以$I_1$的主光轴为扫描方向，按照固定的最小深度间隔${\Theta }_{scale}$，经过可微分的单应性变换，将$[I_i{]}_2^N$提取出的特征体积从${\Theta }_{min}$ 映射到${\Theta }_{max}$，得到$[I_i{]}_2^N$的视锥体（源视图的特征体经过相机内外参和目标深度d，映射到目标视图中得到不同深度的特征体）：
  $${\mathbf{H}}_i(d)=K_i{R}_i\left(I-\frac{\left(R_1^T\cdot t_1-R_{\mathrm{i}}^T\cdot t_i\right)}{d}{n}^T\cdot R_1\right)R_1^T{K}_1^{-1}\text{\hspace{1em}(1)}$$

式中：
$H_i$ 代表可微分单应性变换 ​d代表深度
​$K_i$ 代表第i个视图的内参矩阵 ​
$R_i$ 代表第i个视图的旋转矩阵
​$t_i$ 代表第i个视图的平移矩阵
​$n_1^T$ 代表参考视图的主光轴方向
注：原文中的公式有误，此处公式与原文不同，具体推导在附录

---

3、Volume Cost（代价体）

• 为了使图像大小一致，将视锥体通过线性插值到[D, C, h/4, w/4]大小的特征体， N 张视图可形成 N 个特征体，这一步完成了从2D到3D的转换，后面基于3D的特征体进行运算。
• 在N个特征体的基础上，基于方差计算多个特征体的匹配代价，这样基于方差来计算匹配代价的方式优于基于均值计算匹配代价，因为方差更能体现不同视图之间的差异性信息。
  $$\mathbf{C}=\mathcal{M}\left({\mathbf{V}}_1,\cdots ,{\mathbf{V}}_N\right)=\frac{{\sum }_{i=1}^N{\left({\mathbf{V}}_i-\overline{{\mathbf{V}}_i}\right)}^2}{N}\text{\hspace{1em}(2)}$$

---

4、Volume Cost Regularization（代价体正则化）

• 直接基于方差计算得到的**初始特征体（initial cost volume）**带有较多的噪声，这些噪声主要由视图间的遮挡等因素造成。
• 基于3D Convolutional Network 对 initial cost Volume 进行正则化，采用编码解码的原理，利用一个3D Unet网络的结构得到的特征体通过将C通道维度降为1，得到一个概率体（probability volume），其维度为[D, h/4, w/4]，此时输出在D维度上做softMax，在D维度表示每个像素沿深度方向的概率，称之为概率体。
• 可以采用argmax的方式来求得该像素点的深度值(赢者通吃原则)，但argmax是不可微的操作，这样的操作梯度不可反向传播，作者在这里采用了求期望的方式（soft argmin），估计每一个像素点的深度值。

$$\mathbf{D}=\sum _{d=d_{\min }}^{d_{\max }}d\times \mathbf{P}(d)\text{\hspace{1em}(3)}$$

---

5、Depth Map Refinement （深度图增强）

• 由于3D CNN在正则化过程中，较大的感受野造成重建深度图边界过平滑，作者将$I_1$作为一个辅助项和Initial depth map拼接，送入一个带有残差的CNN模块中进行特征融合，得到一个包含更多边界信息的深度图。

---

6、Loss（损失函数）

• 使用真实深度图与所估计深度的$L_1$损失作为训练损失。计算损失时候不考虑背景的深度，背景深度不进行反向传播，代码实现中用mask将背景剔除。
  $$\text{ Loss }=\sum _{p\in {\mathbf{p}}_{\text{valid }}}\underset{\text{Loss }0}{\underbrace{{\Vert d(p)-{\hat{d}}_i(p)\Vert }_1}}+\lambda \cdot \underset{\text{Loss }1}{\underbrace{{\Vert d(p)-{\hat{d}}_r(p)\Vert }_1}}\text{\hspace{1em}(4)}$$

---

三、post Processing

• 通过MVS Net得到参考图像每个像素的深度估计值，进行下一步的稠密点云计算之前，使用光度一致性与几何一致性作为条件对背景区域与遮挡区域的点进行进一步的剔除。
• 光照一致性条件：沿深度方向的概率分布可以反映深度估计的质量，3D CNN的正则化也有助于将概率分布调整为单峰分布，但由于错误匹配的存在，导致深度概率分布比较离散。因为深度假设是在相机视锥体内离散采样得到的，将四个最近深度的概率求和得到每个像素点最后的估计质量。文章中将估计质量概率值低于0.8的视为外点。
• 几何一致性条件：$|P_{preproj}-P_1|<1$， $|d_{preproj}-d_1|/d_1<0.01$，就称像素p_1 处的深度估计值d_1是两视图连续。

---

四、Result

附录：可微分单应性变换的过程推导：

由对极几何的原理可知(世界坐标系到相机坐标系过程中采用先平移，再旋转)，假设要将$i$视图的特征warp到参考视图的 $d$ 深度：
对于视图1：
$$d\cdot p_1=K_1\cdot p_{c_1}=K_1{R}_1\left(P_w-C_1\right)\text{\hspace{1em}(5)}$$
对于视图 $i$:
$$Z_{c_i}\cdot p_i=K_i\cdot p_{c_i}=K_i{R}_i\left(P_w-C_i\right)\text{\hspace{1em}(6)}$$
由投影的几何信息可知：
$$n^T\cdot p_{c_1}-d=0\text{\hspace{1em}(7)}$$

其中：d为参考视图相机坐标系下的深度，$p_i$为 $i$ 视图上的像素点坐标，$K_i$ 为 $i$ 视图的内参矩阵，$p_{c_i}$ 为 $i$ 视图相机坐标系的坐标，$P_w$ 点为对应世界坐标系的坐标， $R_i$ 为 $i$ 视图的旋转矩阵，$C_i$ 为 $i$ 视图的平移矩阵，$n^T$ 为参考视图 $z$ 方向的方向向量；
联立式5和式6得：
$$Z_{c_i}{p}_i=K_i\cdot p_{c_i}=K_i{R}_i\left(P_w-C_i\right)=K_i{R}_i\left(R_1^T{p}_{c_1}+C_1-C_i\right)\text{\hspace{1em}(8)}$$
将式7代入式8中，利用R矩阵为正交矩阵，且得：
$$\begin{array}{l}{Z}_{c_i}{p}_i=K_i\cdot p_{c_i}=K_i{R}_i\left(P_w-C_i\right)=K_i{R}_i\left(R_1^T{p}_{c1}+C_1-C_i\right)\\ \\ =K_i{R}_i\left(R_1^T{p}_{c_1}+\frac{\left(C_1-C_i\right)n^T\cdot p_{c_1}}{d}\right)\\ \\ =K_i{R}_i\left(I+\frac{\left(C_1-C_i\right)n^T}{d}\cdot R_1\right)R_1^T{p}_{c_1}\\ \\ =K_i{R}_i\left(I+\frac{\left(C_1-C_i\right)n^T}{d}\cdot R_1\right)R_1^T{K}_1^{-1}{p}_{1}d\end{array}\text{\hspace{1em}(9)}$$
即:
$$p_i=K_i{R}_i\left(I+\frac{\left(C_1-C_i\right)}{d}{n}^T\cdot R_1\right)R_1^T{K}_1^{-1}{p}_1\cdot \frac{d}{Z_{c_i}}\text{\hspace{1em}(10)}$$
由于$p_i$ 与 $p_1$ 为齐次坐标，因此可以将常数$\frac{d}{Z_{c_i}}$消除得：
$$p_i=K_i{R}_i\left(I+\frac{\left(C_1-C_i\right)}{d}{n}^T\cdot R_1\right)R_1^T{K}_1^{-1}{p}_1\text{\hspace{1em}(11)}$$
即：
$$p_i=H(d)\cdot p_1\text{\hspace{1em}(12)}$$
其中$H(d)=K_i{R}_i\left(I+\frac{\left(C_1-C_i\right)}{d}{n}^T\cdot R_1\right)R_1^T{K}_1^{-1}$

由
$$\{\begin{array}{l}{P}_W=R_1^T\cdot p_{c_1}+C_1\\ P_W=R_{\mathrm{i}}^T\cdot p_{ci}+C_i\end{array}$$得：
$$C_1-C_i=R_i^T\cdot p_{c_i}-R_1^T\cdot p_{c_1}\text{\hspace{1em}(13)}$$
由$$\{\begin{array}{l}{p}_{c_1}=R_1\cdot P_W+t_1\\ p_{c_i}=R_i\cdot P_W+t_i\end{array}$$得：
$$R_i^T\cdot p_{c_i}-R_1^T\cdot p_{c_1}=R_i^T\cdot t_i-R_1^T\cdot t_1\text{\hspace{1em}(14)}$$
将式13代入式14中得：
$$C_1-C_i=-\left(R_1^T\cdot t_1-R_{\mathrm{i}}^T\cdot t_i\right)\text{\hspace{1em}(15)}$$
将式15代入式11中得：
$$p_i=K_i{R}_i\left(I-\frac{\left(R_1^T\cdot t_1-R_{\mathrm{i}}^T\cdot t_i\right)}{d}{n}^T\cdot R_1\right)R_1^T{K}_1^{-1}{p}_1\text{\hspace{1em}(16)}$$
即：
$$H(d)=K_i{R}_i\left(I-\frac{\left(R_1^T\cdot t_1-R_{\mathrm{i}}^T\cdot t_i\right)}{d}{n}^T\cdot R_1\right)R_1^T{K}_1^{-1}\text{\hspace{1em}(17)}$$

由此得到$H(d)$的表达式，在代码中的实现：
由式16得：
$$\begin{array}{l}{Z}_i{p}_i=K_i\cdot p_{ci}=K_i{R}_i\left(I-\frac{\left(R_1^T\cdot t_1-R_{\mathrm{i}}^T\cdot t_i\right)}{d}{n}^T\cdot R_1\right)R_1^T{K}_1^{-1}{p}_{1}d\\ \\ =K_i{R}_i{R}_1^T{K}_1^{-1}{p}_1\cdot d-K_i{R}_i\frac{R_1^T\cdot t_1-R_{\mathrm{i}}^T\cdot t_i}{d}{n}^T\cdot R_1{R}_1^T{K}_1^{-1}{p}_{1}d\\ \\ =K_i{R}_i{R}_1^T{K}_1^{-1}{p}_1\cdot d+K_i{R}_i(R_i^T\cdot t_i-R_1^T\cdot t_1)n^T\cdot K_1^{-1}{p}_1\\ \\ =K_i{R}_i{R}_1^T{K}_1^{-1}{p}_1\cdot d+K_i{R}_i(R_i^T\cdot t_i-R_1^T\cdot t_1)n^T\cdot \frac{p_{c_1}}{d}\\ \\ =K_i{R}_i{R}_1^T{K}_1^{-1}{p}_1\cdot d+K_i{R}_i(R_i^T\cdot t_i-R_1^T\cdot t_1)\end{array}\text{\hspace{1em}(18)}$$