【立体匹配论文阅读】AANet: Adaptive Aggregation Network for Efficient Stereo Matching

Authors: Haofei Xu, Juyong Zhang
Link: https://arxiv.org/abs/2004.09548
Years: 2020

Credit

Novelty and Question set up

主流的立体匹配模型的代价聚合操作主要用了3D卷积，这部分操作的算力和内存消耗过大，因此作者提出一种新的模型AANet，旨在摒弃所有3D卷积操作。具体来说，作者提出多分辨率代价体构建，用基于稀疏采样点的尺度内聚合模块解决视差图的edge-fattening问题，用跨尺度聚合模块处理弱纹理问题。

Solutions and Details

1. 总体架构
   

   与流行的端到端立体匹配方法一样，AANet同样包含四部分：特征提取、构建代价体、代价聚合和输出视差图。在提取特征部分，会输出multi-scale feature map，分别对应不同stage的特征输出，然后利用这不同尺寸的特征图分别构建各自尺寸的代价体。

   作者在这构建的是相关性（correlation）代价体，对第$s$个stage的左视图特征$F_l^s$和右视图特征$F_r^s$，计算视差$d$的相关度，计算方式如下

   $$C^s(d,h,w)=\frac{1}{N}⟨F_l^s(h,w),F_r^s(h,w-d)⟩$$

   计算出来的代价体是三维的，因为特征通道维度上已通过内积操作进行加和而消除掉了。

   随后作者设计尺度内聚合模块（ISA）和跨尺度聚合模块（CSA）对代价体进行代价聚合，并输出对应尺度的视差图。

2. 尺度内聚合模块

   作者关注到一个常见的问题，在不连续视差中容易出现edge-fattening问题，这个问题本质是常规卷积窗口在边缘时容易聚合了较大视差邻域的代价，因此提出一个自适应的弹性稀疏采样方案，即对特定的视差位置，与它语义上关联度更高的位置进行聚合，整体思路与deformable convolution（v2）一致，所以直接采用他们的实现

   C ~ ( d , p ) = ∑ k = 1 K 2 w k ⋅ C ( d , p + p k + Δ p k ) ⋅ m k \tilde{C}(d,p)=\sum_{k=1}^{K^{2}}{w_k}\cdot{C(d,p+p_{k}+\Delta{p_k})}\cdot{m_k}