论文笔记《End-to-End Training of Hybrid CNN-CRF Models for Stereo》用于立体评估的端到端训练的混合CNN-CRF模型

论文作者提供的源码 https://github.com/VLOGroup

摘要：

本文提出一种用于立体评估的混合模型：卷积神经网络（CNNs）+条件随机场（CRFs）。CNNs用于计算特征，然后这些特征用来计算CRF的一元和二元代价。本文在推理过程中使用了高度平行双块下降算法（highly parallel dual block descent algorithm）来计算高质量的近似最小值。尽管只使用了浅层CNNs，且CRF的最终输出没有使用任何后处理，但是模型效果依然很好。

1. 介绍

立体匹配传统方法已经通过使用全局优化技术得到改进，但这些方法依赖于手工设计的匹配代价。即使是后来的深度CNN模型，也需依赖各种后处理来产生最终的精确输出。
本文结合了CNNs和一个用于立体评估的离散优化模型，这就允许复杂的局部匹配代价和参数化的几何在全局优化方法中得到结合。首先从一个CRF公式开始，然后用CNN学习的项来替换CRF公式中所有手工设计的项。
本文提出的CNN-CRF模型如图1所示：

图1 CNN-CRF模型结构
卷积神经网络（Unary-CNN）:计算两张图像每个像素的特征，然后在一个Correlation layer中进行比较（相关性度量）。计算的matching cost volume成为CRF的unary cost。Pairwise CNN：额外估计对比敏感的pairwise costs，以鼓励或阻止标签跳跃，由边权重参数化。
通过使用所学习到的unary cost和pairwise costs，CRF尝试寻找一个联合解决方案，以在4连接图中优化所有unary 和 pairwise costs 的总和。文章作者故意选择不使用任何后处理，以显示通过后处理获得的大部分性能提升可以通过良好训练的CRF模型得到。

2. 相关工作

Deep Embed、Content-CNN和MC-CNN：都使用siamese网络从两张图像中提取特征，然后通过使用固定的相关性函数（内积）来匹配两个提取的特征。本文模型中的Unary CNN和Correlation和他们一样。以上三个模型通过采样图片块（matching/non-matching）来训练网络，并且使用了一系列后处理步骤，不能和CNN联合训练。本文模型使用整张图像来训练，并且没有使用后处理，使得模型能够完全端到端训练。

3. CNN-CRF 模型

左图（参考图像）：$I^0$，右图：$I^1$, 像素$i\inΩ = dom I^0$ 的视差由离散标签$x_i\in \mathscr L=\{0,...,L-1\}$表示。Unary-CNN提取的稠密图像特征分别为$\phi^0(I^0;\theta_1)和 \phi^1(I^1;\theta_1)$，图1所示模型中的两个Unary-CNN共享参数$\theta_1$。对于每个像素，这些提取到的特征接着在所有可能的视差进行相关性比较，以建立一个correlation-volume（一个匹配置信度容器） p∈[0,1]