论文阅读《JDACS: Self-supervised Multi-view Stereo via Effective Co-Segmentation and Data-Augmentation》

论文地址：Self-supervised Multi-view Stereo via Effective Co-Segmentation and Data-Augmentation

问题的提出

  由于光照等因素的影响，不同视图下同名点的颜色不一致，这是自监督学习与有监督学习的表现性能差异很大的关键原因。为此，该文提出了协同分割分支和数据增强分支来解决这个问题。

---

网络整体架构

---

网络结构——深度估计分支（Depth Estimation Branch）

使用CVP_MVSNet作为Backbone：

  1张参考视图，N-1张源视图作为输入，经过共享CVP_MVSNET得到每层金字塔的深度图[$\frac{H}{2^{sacle-1}}$, $\frac{W}{2^{sacle-1}}$]…[H/2, W/2]和 [H, W]，sacle表示金字塔的层数。

---

网络结构——协同分割分支（Co-Segmentation Branch）

• N张图片作为输入，经过ImageNet预训练好的Vgg模型得到[N, C, h, w]的特征图。(此处h和w是特征图大小而非原图大小)。
• 将N个特征图的维度转换为[Nhw， C]，经过非负矩阵分解得到P矩阵:[Nhw, K]和Q矩阵:[K, C]，将P矩阵维度转换为[N, h, w, K]，其中K为预设的类别个数，目的是将特征图内的像素聚类为K个类别。

---

网络结构——数据增强分支（Data Augmentation Branch）

   将N张图片随机mask掉一定区域，经过深度估计分支的共享CVP_MVSNET得到每层金字塔的深度图[$\frac{H}{2^{sacle-1}}$, $\frac{W}{2^{sacle-1}}$]…[H/2, W/2]和 [H, W]，sacle表示金字塔的层数。

---

损失函数

$$\begin{array}{r}L={\lambda }_1{L}_{PC}+{\lambda }_2{L}_{SC}+{\lambda }_3{L}_{DA}+{\lambda }_4{L}_{SSIM}+{\lambda }_5{L}_{Smooth}\end{array}\text{\hspace{1em}(0)}$$

光度一致性损失

$$L_{PC}=\sum _{i=2}^N\frac{{\Vert \left(I_i^{\prime }-I_1\right)\odot M_i\Vert }_2+{\Vert \left(\nabla I_i^{\prime }-\nabla I_1\right)\odot M_i\Vert }_2}{{\Vert M_i\Vert }_1}\text{\hspace{1em}(1)}$$
其中，$I_i^{\prime }$ 为第 $i$ 张源视图基于预测的深度图和相机参数投影到参考视角的图片，$I_1$ 为参考视图，$M_i$ 为投影视图和参考视图的共同可视区域mask，在颜色空间和梯度空间计算两者的$L_1$损失。

结构一致性损失

$$L_{\mathrm{SSIM}}=\sum _{ij}\left[1-\mathrm{SSIM}\left({\hat{X}}_t^{ij},X_t^{ij}\right)\right]M_t^{ij}\text{\hspace{1em}(2)}$$
其中，对投影过来的视图和参考视图求结构一致性损失（基于3x3窗口求对应窗口的结构一致性损失，取平均）
$$\mathrm{SSIM}(x,y)=\frac{\left(2{\mu }_x{\mu }_y+c_1\right)\left(2{\sigma }_{xy}+c_2\right)}{\left({\mu }_x^2+{\mu }_y^2+c_1\right)\left({\sigma }_x+{\sigma }_y+c_2\right)}\text{\hspace{1em}(3)}$$
其中，${\mu }_x$为x图像的均值，${\mu }_y$为y图像的均值，${\sigma }_{xy}$ 为两图像的协方差。

平滑损失

  表示深度图变化比较大的区域原图变化也比较大。
$$L_{\mathrm{Smooth}}=\sum _{i,j}\Vert {\partial }_x{D}^{ij}\Vert e^{-\Vert {\partial }_x{X}^{ij}\Vert }+\Vert {\partial }_y{D}^{ij}\Vert e^{-\Vert {\partial }_y{X}^{ij}\Vert }\text{\hspace{1em}(4)}$$

协同分割损失

• 对于每一层的深度预估图 [$\frac{H}{2^n}$, $\frac{W}{2^n}$]，将协同分割图 [N, h, w, K] 采样到[$\frac{H}{2^n}$, $\frac{W}{2^n}$]尺寸得:[N, $\frac{H}{2^n}$, $\frac{W}{2^n}$, K]

• 将 N-1个邻域视图 [N-1, $\frac{H}{2^n}$, $\frac{W}{2^n}$, K] ，使用该层预测的深度图与对应视角的相机参数投影到参考视图得到：N-1个[$\frac{H}{2^n}$, $\frac{W}{2^n}$, K]，转换维度为N-1个 [$\frac{H}{2^n}\ast \frac{W}{2^n}$, K]

• 将该层的参考视图协同分割图 [ $\frac{H}{2^n}$, $\frac{W}{2^n}$, K] 经过soft-max函数，再转换成Onehot编码格式：[$\frac{H}{2^n}\ast \frac{W}{2^n}$, 1]。

• 分别求N-1个源视图协同分割投影图 [$\frac{H}{2^n}\ast \frac{W}{2^n}$, K] 与参考视图协同分割图 [$\frac{H}{2^n}\ast \frac{W}{2^n}$, 1] 的交叉熵损失。
  $$L_{SC}=-\sum _{i=2}^N\left[\frac{1}{{\Vert M_i\Vert }_1}\sum _{j=1}^{HW}f\left(S_{1,j}\right)\log \left(S_{i,j}^{\prime }\right)M_{i,j}\right]\text{\hspace{1em}(5)}$$

数据增强损失

逐层计算未被mask区域的$L_1$损失
$$L_{DA}=\frac{1}{{\Vert M_{{\tau }_{\theta }}\Vert }_1}\sum {\Vert \left(D-{\bar{D}}_{{\tau }_{\theta }}\right)\odot M_{{\tau }_{\theta }}\Vert }_2\text{\hspace{1em}(6)}$$

---

实验结果