#每天一篇论文#242/365 多级语义聚合双目匹配

Multi-Level Context Ultra-Aggregation for Stereo Matching

摘要

利用多层次的上下文信息进行匹配，可以提高基于学习的立体匹配方法的性能。近年来，三维卷积神经网络（3d-d cnns）在规整成本量方面显示出其优越性，但在匹配成本计算中受到一元特征的限制。然而，现有的方法仅使用简单卷积层的特征或多层次特征的简单聚合来计算成本VULU，这是不够的，因为立体匹配需要区分特征来识别对应的像素未校正立体图像对。本文提出了一种基于多级上下文超聚集（mcua）的二级特征描述方法，通过层次内和层次间的特征组合，将所有卷积特征封装成更具区分性的表示。具体地说，一种以低分辨率图像作为输入捕获器的子模块。较大的上下文信息从每一层密集地连接到网络的主要分支。mcua充分利用了上下文丰富的多层次特征，实现了图像到图像的整体预测。介绍了mcua的成本-体积计算方案，并在psm网络上进行了测试。我们还对场景流和Kitti2012/2015立体数据集的方法进行了评估。实验结果表明，我们的方法在显著的边缘上优于最新的方法，有效地提高了立体匹配的精度。

贡献

DenseNets ,DLA Higher Order RNNs

立体匹配是一个回归问题，其目的是实现像素级的稠密预测，但通常会在遮挡区域产生不连续性，而在天空或其他平坦区域则是由孔径问题引起的。

在我们的工作中，我们应用了一种新的聚合模式mcua，以生成具有更好上下文支持的一元特征。实验结果证明了mcua在立体匹配中的有效性。
双目匹配原理图，
MCUA

它是一个二维cnn，与psm网络中的匹配成本计算网络相同。我们根据[2]：前七个阶段f0中的层定义，将主干划分为九个阶段。……，F6，分别对应conv01、conv02、conv03、conv1x、conv2x、conv3x和conv4x；第八阶段，F7，包含由A3×3卷积操作所产生的SPP模块；第九阶段，F8，为A1×1卷积操作，旨在融合组合特征。我们使用每个阶段最后一层的输出作为其他操作的特征信息，这种设计是自然的，因为每个阶段的最深层应该具有最可靠的特征。根据特征图的大小，主干网可以分为两组：stagesf0、stagesf0和stagesf0。……，f3属于第一组，其输出特征映射的大小为12×scale，而stagesf4。……，f8属于第二组，其输出特征图的大小为14×scale。

网络结构

实验结果