论文阅读《MC-CNN: Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches》

论文地址：https://arxiv.org/abs/1510.05970
源码地址：https://github.com/jzbontar/mc-cnn

背景

  传统的立体匹配算法包含：匹配代价计算，代价聚合，视差计算，视差精细化四个步骤；针对初始匹配代价计算，本文提出一种基于CNN的patch相似度衡量方法，再结合传统算法中的代价聚合、视差计算与视差精细化步骤预测输入图像的深度图；

---

模型结构

  基于自监督学习的框架引导模型训练，用$<{\mathcal{P}}_{n\times n}^L(\mathbf{p}),{\mathcal{P}}_{n\times n}^R(\mathbf{q})>$来表示以同名点 $p与q$ 为中心的 $n\times n$ 的patch；假设 p 点坐标为 $(x,y)$ ，q 点坐标为 $(x-d,y)$，则：
$$\begin{gathered} q_{pos}=(x-d+O_{pos},y) \\ {q}_{neg}=(x-d+O_{neg},y) \end{gathered}$$
其中$O_{neg}\in [-maxD,-minD]\cup [minD,maxD]$, $O_{pos}\in [0,1]$，模型的核心思想为拉进正样本对之间的距离，拉远负样本对之间的距离；

快速型

  将正样本与负样本经过孪生神经网络中提取特征后，经过归一化与点乘，得到正样本对之间的相似性 $s_{+}$ 与负样本对之间的相似性 $s_{-}$；

损失函数：

使用合页损失函数：
$$L=max(0,m+s_{-}-s_{+})\text{\hspace{1em}(1)}$$
只用负样本对之间的距离与正样本对之间的距离大于m, 损失才为0，否则损失为 $m+s_{-}-s_{+}$;

精度型

  将正样本与负样本经过孪生神经网络中提取特征后，将样本对的特征图拼接后送入MLP中，最后得到匹配分数s；

损失函数

采用二分类交叉熵损失：
$$L=t\cdot log(s)+(1-t)\cdot log(1-s)\text{\hspace{1em}(2)}$$
正样本对时$t=1$，负样本对时 $t=0$

初始代价计算

得到初始代价计算网络之后，使用模型的输出作为初始代价；
$$C_{\mathrm{C}\mathrm{N}\mathrm{N}}(\mathbf{p},d)=-s\left(<{\mathcal{P}}^L(\mathbf{p}),{\mathcal{P}}^R(\mathbf{p}-\mathbf{d})>\right)\text{\hspace{1em}(3)}$$
即匹配分数越高，cost越小；

注：模型后续的步骤与传统算法一致，包含代价聚合、视差计算、视差精细化，故不赘述；

---

实验结果