【论文学习笔记-15】MADNet：自适应实时立体匹配网络（CVPR2019 ORAL）

文本提出了一种模块化的深度双目立体匹配网络，高精度同时具有实时的特点（40FPS）,并且提出了一种在部署使用的同时根据环境动态自适应条件神经网络参数的方法（15-25FPS）

网络结构

首先通过一个金字塔卷积过程提取左右图从1/2到1/64共六个分辨率下的特征矩阵（左右图共享权重），称为F1-F6，通道数分别为16-32-64-96-128-192。然后从F6开始，将左右图的特征通过一个相关性层进行互卷积，获取粗CostVolume（Correlation层和内积相比就是从一个描述子特征和另一个描述子特征做内积改成了以左右图对应点为中心取一个范围做内积）然后使用一个Decoder——包含了5个3*3卷积（输出通道分别为128，128，96，64，1，前四个包含Leaky Relu）——获得该分辨率下的视差图。然后第六层视差图通过双线性插值做上采样到第五层，然后通过这个视差图做右图Feature的Warping操作（根据视差将对应描述子平移到左图对应像素位置）。然后Warping Right Features再和Left Feature做Correlation获得CostVolume，以此类推。到了1/4分辨率后，网络加入了一个Refinement Network，包含了7个3*3卷积，其中输出通道分别为128，128，128，96，64，32，1；同时引入空洞卷积，六个卷积的Dialation分别为1，2，4，8，16，1，1，最后双线性插值到完整分辨率。

自适应模型调整

由于MADnet的独特设计，本文设计了一种在部署后能够一边完成实时预测深度一边调整模型以克服Domain Shift Curse导致的训练集和测试集的差异造成的Accuracy Drop。

由于网络层数很深，用和训练时相同的Backward策略来更新参数回导致帧率大幅度降低，这里作者采用了单组网络反传的方式（如上图b，只通过第三层的视差图来计算loss从而完成反传）

实验