2021_Exploiting Semantic and Boundary Information for Stereo Matching

1.

贡献：

1.提出了一个用于联合语义分割、边界检测和立体匹配的神经网络，其中语义和边界信息一致性成为视差估计的积极指导。

2.设计了一种使用注意力机制构建混合成本量的方法，该方法分别结合了三种不同的成本量，它们是语义成本量、边界成本量和空间特征成本量。

4.

 

4.1 Basic Network Architecture

包括语义分割、边界检测和立体匹配三个分支。 以上三个分支共享特征提取模块，减少了计算参数，从而提高了计算速度。

 

首先，立体图像对流入特征提取块，如图3所示，主要由二维卷积层和空间金字塔池化模块组成。同时，共享左右图像的特征提取块参数。

然后，将特征Fil 和Fir 馈入三个子网络。 语义特征Fisl 和Fisr 在语义分割子网中计算，边界特征Fibl 和Fibr 在边界检测子网中计算。

然后将语义特征、边界特征和空间特征输入立体匹配神经网络。 立体匹配神经网络的结构基于从粗到细的准则，分为三个阶段。在每个阶段，混合成本量由三个成本量构成，分别由空间特征Fil 和Fir 、语义特征Fisl 和Fisr 以及边界特征Fibl 和Fibr 组成。

最后利用3D CNN块学习代价量，利用视差回归层生成视差图d或残差图。 值得注意的是，在最高分辨率（