FcaNet: Frequency Channel Attention Networks
Attention mechanism(注意机制),尤其是 channel attention(通道注意),在计算机视觉领域获得了巨大的成功。许多作品都关注如何设计高效的通道注意机制,而忽略了一个基本问题:使用全局平均池(GAP)作为毋庸置疑的预处理方法。
本次研究中,作者从不同的角度出发,利用频率分析重新思考信道注意力。在此基础上,从数学上证明了传统的 GAP 是频域中特征分解的特例。通过证明,自然而然地归纳了频域中的信道注意力预处理机制,并提出了全新的多谱信道注意力的FcaNet。
所提出的方法简单有效,只需改变计算中的一行代码,就可以在现有的通道关注方法中实现该方法。
此外,所提出的方法在图像分类、目标检测和实例分割任务上与其他信道关注方法相比取得了最先进的结果。所提出方法与基线 SENet-50 相比,在参数数量和计算成本相同的情况下,在ImageNet 上的 Top-1 精度可以提高 1.8%。
代码和模型将公开。
authors | Zequn Qin, Pengyi Zhang, Fei Wu, Xi Li
units | 浙江大学
paper | FcaNet: Frequency Channel Attention Networks