论文阅读《SGM-Net: Semi-global matching with neural networks》

论文地址：http://openaccess.thecvf.com/content_cvpr_2017/papers/Seki_SGM-Nets_Semi-Global_Matching_CVPR_2017_paper.pdf

背景

  传统SGM算法效果虽好，但严重依赖于使用者的调参经验，算法中的惩罚因子对算法的性能有极大的影响，为此提出使用CNN学习的方式来进行参数估计；SGM-Net的输入为小图像patch以及位置，输出为3D物体结构的惩罚参数；为了训练网络，提出了一种使用稀疏标注视差的损失函数；此外，还提出了一种新的SGM参数化方式，根据正负视差变化来调整惩罚参数，以便于区分不同的对象结构；

---

网络结构

SGM

对于经典传统算法中的SGM，其能量函数如式1所示：
$$E(D)=\sum _x(C(x,d^x)+\sum _{y\in N_x}{P}_{1}T[|d^x-d^y|=1]+\sum _{y\in N_x}{P}_{2}T[|d^x-d^y|>1])\text{\hspace{1em}(1)}$$
其中$C(x,d^x)$表示在像素 $x=(u,v)$ 点，视差为 $d^x$ 时的代价，$P_1$ 是对 $p$ 的邻域内处于同一个平面上的视差点给予小惩罚；$P_2$ 是对邻域内不连续的视差给予大惩罚，第一项为数据项：体现总体的匹配代价，后两项为平滑项：使得图像尽量平滑；
$$L_r({\mathrm{x}}_0,d)=\mathrm{C}({\mathrm{x}}_0,d)+\min \left\{\begin{array}{l}{L}_r^{\prime }({\mathrm{x}}_0-\mathrm{r},d)\\ L_r^{\prime }({\mathrm{x}}_0-\mathrm{r},d-1)+P_1\\ L_r^{\prime }({\mathrm{x}}_0-\mathrm{r},d+1)+P_1\\ \underset{i}{\min }{L}_r^{\prime }({\mathrm{x}}_0-\mathrm{r},i)+P_2\end{array}\right\}-\underset{i}{\min }{L}_r^{\prime }({\mathrm{x}}_0-\mathrm{r},i)\text{\hspace{1em}(2)}$$
最后基于WTA计算最终的视差图如式3所示：
$$D(x_0)=arg\underset{d}{\min }\sum _r{L}_r(x_0,d)\text{\hspace{1em}(3)}$$

对于SGM的详细介绍请移步博主的另外一篇博客：https://blog.csdn.net/weixin_40957452/article/details/121524482

SGM-Net

  SGM-Net分为两个阶段：在训练阶段通过最小化路径损失与邻域损失来为每个像素预测 $P_1$ 与 $P_2$ 惩罚因子； 在测试阶段，SGM使用SGM-Net预测的结果进行视差估计，得到最后的视差图；

标准参数化

  上图表示SGM算法中沿路径进行代价聚合的过程，从左往右是沿着路径上的像素点，从上往下是路径上的每个像素的视差与最优视差选择；虚线指向正确视差，橙线与蓝线表示两种视差聚合路径，从中可以看出橙线与紫线在 $x_2$ 后面开始分离，如式2所示，在求 $x_1$ 点的代价时，取 $d_1^{x_1}$加上 $P_2$ 惩罚的代价（式2中min大括号内中的第4项）与取$d_4^{x_1}$加上 $P_1$惩罚的代价（式2中min大括号内中的第3项）的值相等，则此时取哪一项具有不确定性，表明SGM算法中沿路径聚合具有模糊性；

路径损失

在 $x_0$ 像素处，沿着深度范围考虑，应该满足在深度 $d_{gt}^{{\mathbf{x}}_0}$ 的代价值小于其余深度的代价值 $d_i^{{\mathbf{x}}_0}$ 也就有： $L_{\mathbf{r}}\left({\mathbf{x}}_0,d_i^{{\mathbf{x}}_0}\right)>L_{\mathbf{r}}\left({\mathbf{x}}_0,d_{gt}^{{\mathbf{x}}_0}\right)$ ,将其写成Hinge loss形式如式4所示：
$$E_g=\sum _{d_i^{{\mathbf{x}}_0}\ne d_{gt}^{{\mathbf{x}}_0}}\max \left(0,L_{\mathbf{r}}\left({\mathbf{x}}_0,d_{gt}^{{\mathbf{x}}_0}\right)-L_{\mathbf{r}}\left({\mathbf{x}}_0,d_i^{{\mathbf{x}}_0}\right)+m\right)\text{\hspace{1em}(4)}$$
式4表示如果 $d_{gt}^{{\mathbf{x}}_0}$ 与 $d_i^{{\mathbf{x}}_0}$ 的距离若大于m则损失为0，否则损失为 $m-[L_{\mathbf{r}}\left({\mathbf{x}}_0,d_i^{{\mathbf{x}}_0}\right)-L_{\mathbf{r}}\left({\mathbf{x}}_0,d_{gt}^{{\mathbf{x}}_0}\right)]$ , $x_0$ 点的损失在路径上聚合而来，如式5所示：
$$\begin{array}{rl}L\left({\mathbf{x}}_0,d_{gt}^{{\mathbf{x}}_0}\right)& =c\left({\mathbf{x}}_0,d_{gt}^{{\mathbf{x}}_0}\right)+c\left({\mathbf{x}}_1,d_1^{{\mathbf{x}}_1}\right)+c\left({\mathbf{x}}_2,d_3^{{\mathbf{x}}_2}\right)\\ & +c\left({\mathbf{x}}_3,d_3^{{\mathbf{x}}_3}\right)+P_2\left({\mathbf{x}}_2\right)-\beta \\ & \\ L\left({\mathbf{x}}_0,d_5^{{\mathbf{x}}_0}\right)& =c\left({\mathbf{x}}_0,d_5^{{\mathbf{x}}_0}\right)+c\left({\mathbf{x}}_1,d_4^{{\mathbf{x}}_1}\right)+c\left({\mathbf{x}}_2,d_3^{{\mathbf{x}}_2}\right)\\ & +c\left({\mathbf{x}}_3,d_3^{{\mathbf{x}}_3}\right)+P_1\left({\mathbf{x}}_1\right)+P_1\left({\mathbf{x}}_2\right)-\beta \end{array}\text{\hspace{1em}(5)}$$
其中 $L\left({\mathbf{x}}_0,d_{gt}^{{\mathbf{x}}_0}\right)$ 表示黄线的聚合路径，$L\left({\mathbf{x}}_0,d_5^{{\mathbf{x}}_0}\right)$ 代表紫线的聚合路径；$\beta$ 代表式2中的最小的路径损失。由此，路径累积损失可以表示为式6形式：
$$\begin{array}{r}{L}_{\mathbf{r}}\left({\mathbf{x}}_0,d_i^{{\mathbf{x}}_0}\right)=\gamma +{\sum }_n(P_{1,\mathbf{r}}\left({\mathbf{x}}_n\right)T\left[\left|\delta d^{{\mathbf{x}}_n\leftarrow d_i^{{\mathbf{x}}_0}}\right|=1\right]+P_{2,\mathbf{r}}\left({\mathbf{x}}_n\right)T\left[\left|\delta d^{{\mathbf{x}}_n\leftarrow d_i^{{\mathbf{x}}_0}}\right|>1\right])\end{array}\text{\hspace{1em}(6)}$$
其中：$T[|\delta d^{{\mathbf{x}}_n\leftarrow d_i^{{\mathbf{x}}_0}}|>1]$ 表示在 $d_i^{x_0}$ 聚合路径上，相邻像素间的视差取值大于1的点，如橙线 $x_2$到 $x_1$ 过程中，$x_2$点的取值为$d_3$，$x_1$点的取值为$d_1$，相邻像素间的取值差值为2，此时$T$取值为1；且给予 $P_2$ 惩罚； $\gamma$ 表示聚合路径上累积匹配代价（不含每个像素上的最小代价），且 $\gamma$ 与 $P_1与P_2$ 无关；将式6代入式4中得到损失函数 $E_g$，再对 $P_1$ 与 $P_2$ 求偏导得：
$$\begin{array}{l}\frac{\partial E_g}{\partial P_{1,\mathbf{r}}}={\sum }_{d_t^{{\mathbf{x}}_0}\ne d_{gt}^{{\mathbf{x}}_0}}{\sum }_n\left(T\left[\left|\delta d^{{\mathbf{x}}_n\leftarrow d_{gt}^{{\mathbf{x}}_0}}\right|=1\right]-T\left[\left|\delta d^{{\mathbf{x}}_n\leftarrow d_t^{{\mathbf{x}}_0}}\right|=1\right]\right)\\ \\ \frac{\partial E_g}{\partial P_{2,\mathbf{r}}}={\sum }_{d_t^{{\mathbf{x}}_0}\ne d_{gt}^{{\mathbf{x}}_0}}{\sum }_n\left(T\left[\left|\delta d^{{\mathbf{x}}_n\leftarrow d_{gt}^{{\mathbf{x}}_0}}\right|>1\right]-T\left[\left|\delta d^{{\mathbf{x}}_n\leftarrow d_t^{{\mathbf{x}}_0}}\right|>1\right]\right)\end{array}\text{\hspace{1em}(7)}$$
例如：将式5代入式4中求偏导得：
$$\begin{array}{r}\frac{\partial E_g}{\partial P_1\left({\mathrm{x}}_1\right)}=-1,\frac{\partial E_g}{\partial P_2\left({\mathrm{x}}_1\right)}=0,\frac{\partial E_g}{\partial P_2\left({\mathrm{x}}_2\right)}=1,\\ \\ \text{ when }{E}_g=L_{\mathbf{r}}\left({\mathbf{x}}_0,d_{gt}^{{\mathbf{x}}_0}\right)-L_{\mathbf{r}}\left({\mathbf{x}}_0,d_5^{{\mathbf{x}}_0}\right)+m>0\end{array}\text{\hspace{1em}(8)}$$
有了上述的分析，就可以使用标准的神经网络来对其训练；

邻域损失

  由上述的分析可知：沿路径的聚合具有模糊性，为此引入邻域损失函数来降低这种不确定性；其核心思想为正确的代价聚合路径应该包含正确的视差信息且长度最短，如下图所示：

  图中，红线为正确的路径，绿线为错误的路径，图a表示边缘区域，相邻像素的视差变化较大；图b为倾斜区域，相邻像素间的视差变化小，图c为平坦区域，相邻像素的视差相同；三幅图中红线所计算的损失 $F_b(.),F_s(.),F_f(.)$ 小于绿线的损失 $N(.)$；邻域损失如式9所示：
$$E_{n_X}=\sum _{d\ne d_{gt}^{{\mathbf{x}}_1}}\max \left(0,F_X\left({\mathbf{x}}_1,d_{gt}^{{\mathbf{x}}_1}\right)-N\left({\mathbf{x}}_1,d_{gt}^{{\mathbf{x}}_0},d\right)+m\right)\text{\hspace{1em}(9)}$$
其中，$N(.)$如式10所示：
$$\begin{array}{rl}N\left({\mathbf{x}}_1,d_{gt}^{{\mathrm{x}}_0},d\right)=L_{\mathbf{r}}\left({\mathbf{x}}_1,d\right)& +P_{1,\mathbf{r}}\left({\mathbf{x}}_1\right)T\left[\left|d_{gt}^{{\mathbf{x}}_0}-d\right|=1\right]+P_{2,\mathbf{r}}\left({\mathbf{x}}_1\right)T\left[\left|d_{gt}^{{\mathbf{x}}_0}-d\right|>1\right]\end{array}\text{\hspace{1em}(10)}$$
其中 $F_X(.)$ 表示相邻像素之间的视差变化，$F_b(.)表示边缘损失,F_s(.)表示倾斜表面损失,F_f(.)表示平坦平面损失$；
边缘损失Border：
$$F_b\left({\mathbf{x}}_1,d_{gt}^{{\mathrm{x}}_1}\right)=L_{\mathbf{r}}\left({\mathbf{x}}_1,d_{gt}^{{\mathrm{x}}_1}\right)+P_{2,\mathbf{r}}\left({\mathbf{x}}_1\right)\text{\hspace{1em}(11)}$$
倾斜面损失：
$$F_s\left({\mathbf{x}}_1,d_{gt}^{{\mathrm{x}}_1}\right)=L_{\mathbf{r}}\left({\mathbf{x}}_1,d_{gt}^{{\mathbf{x}}_1}\right)+P_{1,\mathbf{r}}\left({\mathbf{x}}_1\right)\text{\hspace{1em}(12)}$$
平坦面损失：
$$F_f\left({\mathbf{x}}_1,d_{gt}^{{\mathbf{x}}_1}\right)=L_{\mathbf{r}}\left({\mathbf{x}}_1,d_{gt}^{{\mathbf{x}}_1}\right)\text{\hspace{1em}(13)}$$
公式9像前文介绍一样，是可微的；

使用了不同损失的效果如图5所示：使用了邻域损失可以使得图像更加清晰，但是会增加许多噪点，将路径损失与邻域损失结合使用会取得较不错的效果，总的损失函数如式14所示：
$$E=\sum _{\mathbf{r}\in R}\left(\sum _{{\mathbf{x}}_1,{\mathbf{x}}_0\in G_b}{E}_{n_b}+\sum _{{\mathbf{x}}_1,{\mathbf{x}}_0\in G_s}{E}_{n_s}+\sum _{{\mathbf{x}}_1,{\mathbf{x}}_0\in G_f}{E}_{n_f}+\xi \sum _{{\mathbf{x}}_0\in G}{E}_g\right)\text{\hspace{1em}(14)}$$
其中 $\xi$ 为权重参数，在各个 $r$ 方向上随机选择相同数量的border、slant、flat处的像素点；其中flat处像素点 $x_1$ 与 $x_0$ 的视差值相同，slant处 $x_1$ 与 $x_0$ 的视差值相差1（+1或-1），boder处 $x_1$ 与 $x_0$ 的视差值相差大于1，在多个视差候选中随机选择一个；

有向参数化

  由于在前面的讨论中，相邻像素最优视差相差大于1，则给$P_2$ 惩罚，相邻像素最优视差相差等于1，给 $P_1$ 惩罚，在这里，为了增强模型的表达能力，同时视差的差值的正负：

1. 当 $x_1^d-x_0^d=1$ 时惩罚为 $P_1^{+}$
2. 当 $x_1^d-x_0^d=-1$ 时惩罚为 $P_1^{-}$
3. 当 $x_1^d-x_0^d>1$ 时惩罚为 $P_2^{+}$
4. 当 $x_1^d-x_0^d<-1$ 时惩罚为 $P_2^{-}$

$$L_{\mathbf{r}}^{\prime \pm }\left({\mathbf{x}}_0,d\right)=c\left({\mathbf{x}}_0,d\right)+min\left\{\begin{array}{c}{L}_{\mathbf{r}}^{\prime \pm }({\mathbf{x}}_1,d)\\ \\ {\min }_{i=d\pm 1}{L}_{\mathbf{r}}^{\prime }\left({\mathbf{x}}_1,i\right)+P_{1,\mathbf{r}}^{+}\underset{T_1^{+}[\cdot ]}{\underbrace{T[d-i=1]}}+P_1^{-}\underset{T_1^{-}[\cdot ]}{\underbrace{T[i-d=1]}}\\ \\ {\min }_{i\ne d\pm 1}{L}_{\mathbf{r}}^{\prime \pm }\left({\mathbf{x}}_1,i\right)+P_{2,\mathbf{r}}^{+}\underset{T_2^{+}[\cdot ]}{\underbrace{T[i<d]}}+P_{2,\mathbf{r}}^{-}\underset{T_2^{-}[\cdot ]}{\underbrace{T[i>d]}})\end{array}\right\}\text{\hspace{1em}(15)}$$
增加了有向参数化后：
将式6中的$L_r^{\pm }$ 替换 $L_r$得：
$$L_{\mathbf{r}}^{\pm }=\gamma +\sum _n\left(P_{1,\mathbf{r}}^{+}{T}_1^{+}[\cdot ]+P_{1,\mathbf{r}}^{-}{T}_1^{-}[\cdot ]+P_{2,\mathbf{r}}^{+}{T}_2^{+}[\cdot ]+P_{2,\mathbf{r}}^{-}{T}_2^{-}[\cdot ]\right)\text{\hspace{1em}(16)}$$
式10更新后得：
$$\begin{array}{rl}{N}^{\pm }\left({\mathrm{x}}_1,d_{gt}^{{\mathbf{x}}_0},d\right)& =L_{\mathbf{r}}^{\pm }\left({\mathrm{x}}_1,d\right)+P_{1,\mathbf{r}}^{+}\left({\mathrm{x}}_1\right)T[\delta =1]+P_{1,\mathbf{r}}^{-}\left({\mathrm{x}}_1\right)T[\delta =-1]+P_{2,\mathbf{r}}^{+}\left({\mathrm{x}}_1\right)T[\delta >1]+P_{2,\mathbf{r}}^{-}\left({\mathrm{x}}_1\right)T[\delta <-1]\end{array}\text{\hspace{1em}(17)}$$
其中$\delta =d_{gt}^{{\mathrm{x}}_0}-d$,
$F_b$ 更新后为如式18所示：
$$\begin{array}{r}{F}_b^{\pm }\left({\mathrm{x}}_1,d_{gt}^{\mathrm{x}}\right)=L_{\mathbf{r}}\left({\mathrm{x}}_1,d_{gt}^{{\mathrm{x}}_1}\right)+P_{2,\mathbf{r}}^{+}\left({\mathrm{x}}_1\right)T\left[d_{gt}^{{\mathrm{x}}_0}>d_{gt}^{{\mathrm{x}}_1}\right]+P_{2,\mathbf{r}}^{-}\left({\mathrm{x}}_1\right)T\left[d_{gt}^{{\mathrm{x}}_0}<d_{gt}^{{\mathrm{x}}_1}\right]\end{array}\text{\hspace{1em}(18)}$$
$F_s$ 更新后为如式19所示：
$$\begin{array}{r}{F}_s^{\pm }\left({\mathrm{x}}_1,d_{gt}^{\mathrm{x}}\right)=L_{\mathbf{r}}\left({\mathrm{x}}_1,d_{gt}^{{\mathrm{x}}_1}\right)+P_{1,\mathbf{r}}^{+}\left({\mathbf{x}}_1\right)T\left[d_{gt}^{{\mathrm{x}}_0}-d_{gt}^{{\mathrm{x}}_1}=1\right]+P_{1,\mathbf{r}}^{-}\left({\mathbf{x}}_1\right)T\left[d_{gt}^{{\mathrm{x}}_1}-d_{gt}^{{\mathrm{x}}_0}=1\right]\end{array}\text{\hspace{1em}(19)}$$

SGM-Net模型结构

  模型输入为图像patch与归一化后的位置参数，通过最小化损失函数来优化惩罚参数，在模型中国使用ELU来保证输出的惩罚因子为正。代价聚合时使用四路径聚合，模型的输出为$8(=2[P_1,P_2]\times 4[direction])$,代表了上图8个惩罚因子；

---

实验结果