【论文学习笔记-8】AANet：Adaptive Aggregation Network for efficient stereo matching（CVPR2020）

本文提出了用尺度内成本聚合(intra-scale cost aggregation method)和尺度间成本聚合层(cross-scale cost aggregation algorithm)来完全替代常被使用的3D卷积层从而大大提高立体匹配算法的速度并保持有竞争力的准确度。前者用于解决视差不连续区域的边缘肥胖问题（edge-fattening issue)，后者用于处理大块的无纹理区域。达到了41倍的GC-Net/4倍的PSMNet/38倍的GA-Net的速度，在高速立体匹配算法领域(如Stereo-Net)达到了最好的表现。

3D卷积的问题：速度很慢，如PSM-Net在高性能GPU上也需要4G的内存和410ms来处理一对KITTI图片。GA-Net意识到了3D卷积的弊端，用SGA和LGA尝试替代3D卷积，但是仍然使用了15个3D卷积。本文的目的是完全替代3D卷积并且大大提高计算速度，同时达到SOTA的效果。

Method

首先左右图会经过一个特征提取网络获得经过下采样的特征金字塔，之后计算多尺度下的cost volume，公式为：

其中s代表金字塔第s层的特征，l代表左图，s代表右图，h,w,w-d代表坐标，<>向量代表内积，N代表特征的通道数。可见使用的costvolume方法非常简单直接用正规化后的内积。

Adaptive-Intra-Scale Aggregation：
这里作者参考的是Local Cost Aggregation：

可以看到Local Aggregation是类似于滤波器的操作。作者这里使用可变卷积（deformable convolution）[参考文献]来将其进行改造。

先简单介绍可变卷积

首先普通卷积是这样的：

绿色点代表参与计算的点

空洞卷积是这样的：

蓝色和红色的点代表参与权重计算的点

可变卷积是这样的：

可以看到，每个参与权重计算的点(如331的卷积核就是9个点)都在固定位置上发生了偏移，偏移是自适应的。

Intra-Scale Aggregation的本质就是将上述Local-Aggregation与可变卷积进行了结合，计算公式为：

其中p是中心点，p+pk代表第k个点的初始位置，Δpk是自适应的偏移量，K²代表参与计算的采样点。

显然核心的改变就是加入了Δpk形成自适应采样，这样的成本聚合函数在物体边缘和薄结构上能取得很好的效果。

但是卷积中的参数wk是对内容不敏感/不可知的(content-agnostic)，因此又加入了一项位置特异性权重mk(参考文献),mk越大代表这个区域对于输出的影响越大，用以提高可变卷积对于空间形变的表示能力。公式为：

注意这里需要自适应的是Δpk和mk，这里作者均采用了在CostVolume上进行单层普通卷积生成该参数，作者将所有候选视差分为两组，组内共享Δpk和mk，同时作者还采用了空洞卷积提高灵活性(这里没讲清楚在哪里用的)

Intra-Scale Aggregation（ISA）模块通过三层卷积的残差连接构成，卷积和大小分别是11，33，11。其中33是可变卷积。其中控制channel不变。

Adaptive Cross-Scale Aggregation：
在低/无纹理区域，用更粗的尺度进行匹配像素搜索是更有益的，因为patch size不变的情况下下采样的图片的纹理信息会更加显著。这里将各个尺度的下采样的cost信息结合，公式为：

其中${\tilde{C}}^k$是通过Intra-Scale Aggregation获得的cost，$f_k$是一个预定义函数（直接引用HRNet中的定义)

其中$I$是恒等函数，k<s时通过stride>1的卷积进行下采样，k>s时做双线性插值上采样。保证不同层在的costvolume最后的分辨率相同。这里低尺度的costvolume的channel number被减半了，与HR的翻倍不同，这样的粗搜索效率更高。

网络结构

最后的视差输出函数

损失函数

其中V( p )代表该点有没有groundtruth disparity，对应输出1/0，$L$是smooth L1, $D$ 代表视差。

总损失函数：