MC-CNN论文翻译及其总结

论文来源

Žbontar, Jure, Lecun Y. Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches[J]. 2015, 17(1):2287-2318.

link:https://arxiv.org/abs/1510.05970
codes(lua):https://github.com/jzbontar/mc-cnn

翻译

3.1构造数据集

我们使用KITT或者Middlebury立体数据集的ground truth视差图构建一个二分类的数据集。在每一个图片的视差图的位置上我们提取一个负样本与正样本。这保证了这个数据集包含了相等数量的正样本与负样本。一个正样本是一部分的图像块，一部分来自左边图片另一部分来自右边图片，这个样本的位置中心是与图片一致的三维中心，同时一个负样本是一部分的图像块，。。下面的部分详细地描述数据集的构建的步骤。$1$
记$< P_{n \times n}^L(p),P_{n \times n}^L(q) >$为一队图像块，当$P_{n \times n}^L(p)$是一个$n \times n$的图像块从中心位置为$p = (x,y)$的左图片，$P_{n \times n}^L(q)$是一个$n \times n$的图像块从中心位置为$q$的右图片，同时$d$代表了在位置$p$上的正确视差。通过设定右图像块的中心为

$$q=(x-d+o_{neg},y)$$ 来获得有负样本。
其中$o_{neg}$是通过等距的$[dataset{\rm{\_}}neg{\rm{\_}}low,dataset{\rm{\_}}neg{\rm{\_}}high]$，或者是他的原始的相反部分$[-dataset{\rm{\_}}neg{\rm{\_}}high,-dataset{\rm{\_}}neg{\rm{\_}}low]$。这个随机的抵偿$o_{neg}$保证了结果图片部分的中心位置不是相同的$3D$点。
一个正样本被分开通过设置

$$q=(x-d+o_{pos},y)$$ ，其中 $o_{pos}$是从等距的 $[dataset{\rm{\_}}pos,-dataset{\rm{\_}}pos]$中随机选择的。之所以使用 $o_{pos}$而不是使0，是为了后面的立体方法做准备。特别的，我们发现交叉代价聚合表现的更好当这个网络指派低匹配代价到高匹配代价也包括差不多匹配。在我们的实验中，超参数 $dataset{\rm{\_}}pos$不会超过一个像素。

to be continue…