摘要
扩张卷积通过在连续元素之间插入间隙来扩大感受野,广泛用于计算机视觉。作者从谱分析的角度提出了三种策略来改进扩张卷积的各个阶段。与将全局膨胀率固定为超参数的传统做法不同,我们引入了频率自适应膨胀卷积 (FADC),它根据局部频率分量在空间上动态调整膨胀率。 随后,我们设计了两个插件模块,以直接提高有效带宽和感受野大小。Adaptive Kernel (AdaKern) 模块将卷积权重分解为低频和高频分量,并按通道动态调整这些分量之间的比率。通过增加卷积权重的高频部分,AdaKern 捕获了更多的高频分量,从而提高了有效带宽。频率选择 (FreqSelect) 模块通过空间变化重新加权来优化平衡特征表示中的高频和低频分量。它抑制了背景中的高频,以鼓励 FADC 学习更大的膨胀,从而增加感受野以扩大范围。关于分割和对象检测的广泛实验始终验证了我们方法的有效性。
# 理论介绍
创新点:
- 作者使用频率分析对扩张卷积进行了深入探索,将膨胀的分配重新定义为一个涉及平衡有效带宽和感受野的权衡问题。
- 引入了频率自适应扩张卷积 (FADC)。它采用自适应膨胀率 (AdaDR)、自适应内核 (AdaKern) 和频率选择(FreqSelect) 策略。AdaDR 以空间变化的方式动态调整扩张速率,以实现有效带宽和感受野之间的平衡。
- AdaKern 自适应调整内核以充分利用带宽,而 FreqSelect 学习频率平衡功能以鼓励较大的感受野。通过在分割任务中进行全面实验来验证我们的方法,并始终如一地证明其有效性。此外,在对象检测和分割任务中,所提出的 AdaKern 和FreqSelect 在与可变形卷积和扩张注意力集成时也被证明是有效的。下图摘自论文
理论详解可以参考链接:论文地址
代码可在这个链接找到:代码地址
下文都是手把手教程,跟着操作即可添加成功