基于深度学习的立体匹配

基于深度学习的立体匹配

1. 背景

传统的立体匹配算法多围绕损失计算和视差优化进行研究：

1. 设计良好的度量函数来计算匹配损失；

2. 使用局部或全局的方法为每个像素分配视差值。

这些算法均采用人工设计的浅函数，对于病态区域(如纹理少的区域等)往往不能得到正确的结果。

2. 解决方案

1. 基于监督学习的立体匹配方案（一般使用激光雷达获得样本准确的视差信息作为GroundTruth，样本的精度直接影响学习的效果。常用的数据集sceneFlow 数据集及kitti数据集）

2. 基于非监督学习的立体匹配方案（无需样本的视差真值，只需要左右图像即可，左->视差<-右（三维数据相互验证，迭代训练实现））
   论文《Unsupervised Learning of Stereo Matching》
   

2.1监督学习算法

基本思路：

网络结构主要由４个部分组成（特征提取、空间金字塔特征融合、匹配损失计算和视差回归）

•使用CNN分别对左右视角图像进行特征提取,并融合多尺度特征;

•连接左视角特征和平移的右视角特征,构建视差维度上稀疏的损失体,再使用３DCNN 学习并根据几何上下文信息计算匹配损失;

•重采样损失体到原始图片尺寸,用Softmax函数将损失值转化为视差概率分布,并通过视差回归函数输出亚像素的预测视差。

注：3D卷积的理解（https://www.jianshu.com/p/1bb8618dd7ae ）

2.1.1 PSM-Net

Code（https://github.com/JiaRenChang/PSMNet）

•创新点1（红框）-- 引入了空间金字塔池化模块（spatial pyramid pooling，SPP）。用SPP聚合多尺度的信息。

•创新点2（黄匡）-- 堆叠漏斗网络（stacked hourglass networks），用3D卷积做的encoder-decoder结构。降低算力&#