《GA-Net: Guided Aggregation Net for End-to-end Stereo Matching》

---

代码

---

1. 研究问题

代价聚合是获取准确视差估计的关键步骤，目前基于深度学习的方法中，代价聚合有的基于传统方法，有的基于2D/3D convolution的方法，基于传统方法的代价聚合容易在无纹理、高反射、高光区域产生误匹配，而基于2D/3D convolution方法的代价聚合由于频繁的下采样和上采样，容易模糊薄结构和对象边缘，且占用大量内存和消耗大量时间。

2. 研究方法

提出引导聚合网络GA-Net，核心部分是两个引导代价聚合层，分别是半全局引导聚合层SGA和局部引导聚合层LGA，其中，SGA实现了SGM算法的可微近似，可以提高遮挡区域、无纹理、高反射区域的视差精度，LGA在局部进行代价聚合，解决由于下采样和上采样引起的薄结构和边缘的精度损失。这两个层可用于替代广泛使用的 3D 卷积层，从而降低内存占用和计算复杂度。

SGA

SGA采用四路径的代价聚合，并且取匹配分数最高的代价作为最终的代价。

这样做是为了去除其他路径对代价造成模糊。SGA可以重复进行多次，以取得更好的代价空间。

LGA

网络结构

损失函数

• smooth $L_1$ loss function
  
  
  这种视差回归函数比基于分类的方法更加鲁棒，并且能够产生亚像素精度。

3. 实验结果

消融实验

引导聚合的作用

SGMs和3D convolutions 的比较

和实时算法的比较

Benchmark

4. 结论

所提出的方法在场景流数据集和 KITTI 测试上都达到了最先进的精度，并且运行速度为15~20fps。

5. 启发

可以利用引导聚合层来代替3D convolution。