实现通道注意力_修改一行代码，简单粗暴涨点！浙大提出FcaNet：频率域通道注意力网络...

本文提出一种新的基于DCT频率域的通道注意力，其在分类、检测和分割任务上，性能优于SENet、CBAM和GCNet等主干，代码和模型即将开源！

注：文末附计算机视觉交流群

FcaNet: Frequency Channel Attention Networks

作者单位：浙江大学（李玺团队）
论文：FcaNet: Frequency Channel Attention Networks

注意力机制，尤其是通道注意力，在计算机视觉领域取得了巨大的成功。许多工作专注于如何设计有效的通道注意力机制，同时忽略一个基本问题，即使用全局平均池（GAP）作为毫无疑问的预处理方法。

在这项工作中，我们从不同的角度出发，并使用frequency analysis重新考虑通道的注意力。基于频率域分析，我们在数学上证明了传统的GAP是频域中特征分解的特例。有了证明，我们自然地在频域上概括了通道注意力机制的预处理，并提出了具有新颖的multi-spectral通道注意力的FcaNet。

所提出的方法简单但有效。我们只在计算中更改一行代码，以在现有通道注意力方法中实施我们的方法。

主要贡献：

实验结果

与其他在图像分类，目标检测和实例分割任务上的通道注意力方法相比，该方法可实现最新的结果。与基线SENet-50相比，在相同数量的参数和相同的计算成本的情况下，我们的方法在ImageNet上的Top-1准确性方面可提高1.8％。我们的代码和模型将公开提供。

CVer-计算机视觉交流群

建了CVer微信交流群！细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。想要进计算机视觉学习交流群的同学，可以直接加微信号：CVer5555。加的时候备注一下：研究方向+学校+昵称，即可。然后就可以拉你进群了。

强烈推荐大家关注CVer知乎账号和CVer微信公众号，可以快速了解到最新优质的CV论文。

推荐阅读

170 FPS！YolactEdge：实时实例分割，Xavier/2080Ti高达30/170FPS

基于深度学习的基于内容的图像检索技术：十年调研（2011-2020）

清华大学提出Pointformer：基于Transformer的3D目标检测

同济大学等提出EQL v2：用于长尾目标检测的新梯度平衡方法

FAIR提出：注意力可视化之外的Transformer可解释性

清华大学提出PCT：Point Cloud Transformer

细长目标检测：分析与改进

牛津大学等提出：Point Transformer

Cell-DETR：基于Transformer的细胞实例分割网络

清华大学等提出PED：用于行人检测的DETR

亚马逊李沐团队提出：行为识别的全面调研（2014-2020）

华盛顿大学提出：实时高分辨率图像抠图网络

对医学图像分割中的置信度进行量化

SSL4MIS：半监督医学图像分割论文合集+benchmark

你的NMS该换了！Confluence：实现更准、更强的目标检测

CNN与Transformer结合！东南大学提出视频帧合成新架构 ConvTransformer

DenseCL：自监督视觉预训练的密集对比学习

北大和港中文提出ACT：自适应聚类Transformer的端到端目标检测

清华大学提出：预训练表示的Bi-tuning

综述 | 基于深度学习的单目深度估计技术：全面调研（2014-2020）

AAAI 2021 | 国科大和上海交大提出RSDet：旋转目标新网络，代码已开源！

420 FPS！LSTR：基于Transformer的端到端实时车道线检测

图像分割涨点技巧！从39个Kaggle竞赛中总结出的分割Tips和Tricks

涨点明显！港中文等提出SplitNet：通过切分网络和结合Co-Training提升CNN性能

重磅！中山大学提出行人重识别新方法和史上最大数据集SYSU-30k，已开源！

AAAI 2021 | 上海交大等提出R3Det：旋转目标检测网络，代码已开源！

北京大学等提出SR新模块！通过Squeeze Reasoning实现高效的场景理解

冠军解决方案！用于脑肿瘤分割的nnU-Net改进

刷新WIDER Face纪录！TinaFace：人脸检测新网络，代码已开源！

这个AI能帮你女朋友自拍！从照片生成3D视频，总有个角度让她满意

STTR：基于Transformers的立体深度估计网络，代码已开源！

用GAN生成70岁的你！还可以重返17岁，代码已开源！ECCV 2020 Adobe等新研究

WACV2021 | 用于小目标检测的FPN中的高效融合因子

综述 | 对比自监督学习技术：全面调研

85.4 mIOU！NVIDIA：使用多尺度注意力进行语义分割

深入研究Label Smoothing(标签平滑)

使用PyTorch时，最常见的4个错误

NeurIPS 2020 | Auto-Panoptic：用于全景分割的协作式多组件体系结构搜索

NeurIPS 20 | RelationNet++: Transformer桥接视觉表示的目标检测

利用YOLOv4和Deep SORT实现多摄像头实时目标跟踪和计数（已开源）

NeurIPS 20 | 超越EfficientNet！TinyNet：玩转网络的分辨率，深度和宽度

涨点技巧！汇集13个Kaggle图像分类项目的性能提升指南

利用知识蒸馏改进目标检测：面向准确高效的检测器

使用深度学习从视频中估计车辆的速度（已开源）

ECCV 2020 | 旷视开源LabelEnc：提升目标检测的新型中间监督方法

这9个技巧让你的PyTorch模型训练得飞快！

牛津博士论文 | 学习重建和分割3D目标（143页PDF）

谷歌刚刚发布Objectron新数据集，可完美检测3D目标，超过4百万幅图像和15K视频剪辑！

综述 | MIT提出视频理解/行为识别：全面调研（2004-2020）

综述 | 基于无人机的目标跟踪的相关滤波器：全面调研

从三个维度加速你的CNN：全面的剪枝框架

Recall Loss：用于不平衡图像分类和语义分割的召回损失

即插即用！Rotate to Attend：卷积Triplet注意力模块

旷视提出MegDetV2：目标检测/实例分割系统

综述 | 基于深度学习的医学图像分割技术：全面调研

ResNet还是DenseNet？即插即用的DS涨点神器来了！

综述 | 基于深度学习的端到端人脸识别技术：全面调研

TBC：共享Thinner Filters，实现更强的CNN！

综述 | 行人检测技术（从手工特征到深度学习）：全面调研

超越EfficientNets！无需注意力，也能让你的网络更快更强！

OpenCV 4.5来了！更强的SIFT，改进RANSAC算法，新增目标跟踪网络SiamRPN++

综述 | 基于深度学习的实时语义分割方法：全面调研

涨点神器！南航提出AFF：注意力特征融合

NeurIPS 2020 | 谷歌大脑提出：重新思考预训练和自训练

NeurIPS 2020 | 用于图像复原/恢复的神经稀疏表示

NeurIPS 2020 | aLRPLoss：统一目标检测中的分类和定位的平衡损失函数

CCE：具有互补交叉熵的不平衡图像分类

谷歌地标检索2020 Kaggle 第一名解决方案

ECCV AIM 2020 真实图像超分辨率挑战赛3项冠军解决方案

LVIS 实例分割挑战赛2020的第一名解决方案：好的Box不能保证好的Mask

ETH Zurich提出DPIR：具有Denoiser先验的即插即用图像恢复

ECCV 2020 | NAS-DIP：通过NAS实现DIP（去噪/去雾/超分辨率/修复等）

综述 | 小样本学习：全面调研（Few-shot）

使用深度神经网络从Noisy Labels中学习：全面调研

剪枝filter？还是剪枝layer？这是个问题

ECCV 2020 | WeightNet：重新探索Weight网络的设计空间

ECCV 2020 | 53.5 AP！PAA：用于目标检测的IoU预测的概率Anchor分配

ECCV 2020 | 南京理工提出FPT：特征金字塔Transformer

ECCV 2020 | BMask R-CNN：边界保持的Mask R-CNN

ECCV 2020 | 即插即用！PSConv：将特征金字塔压缩到紧凑