模型注意力机制的方法，senet,gcnet SRMnet,SGEnet,增强注意力机制AA，Relation-Aware Global

注意力2020年

大盘点 | 十大即插即用的涨点神器！ https://blog.csdn.net/qq_36387683/article/details/108406297

【即插即用】涨点神器AFF：注意力特征融合（已经开源，附论文和源码链接）https://my.oschina.net/u/3776677/blog/4662224

注意力机制 <=2019年

senet,gcnet SRMnet,SGEnet,增强注意力机制AA，每个有代码实现
最大化注意力机制（EMA）

1、SEnet, GCnet

2、SGEnet, Spatial Group-wise
Enhance: Improving SemanticFeature Learning in ，Convolutional
Networks, https://github.com/implus/PytorchInsight

3、SRM : A Style-based Recalibration
Module for Convolutional Neural Networks

https://github.com/hyunjaelee410/style-based-recalibration-module

https://github.com/EvgenyKashin/SRMnet

https://github.com/XiaLiPKU/EMANet，emanethttps://zhuanlan.zhihu.com/p/78018142

SRM 和 SGE 是对se块改进的，所以插入位置也是一样的，容易替换修改

4、自注意力增强卷积
https://github.com/leaderj1001/Attention-Augmented-Conv2d
注意力增强结构，参数量比se模型少一点，精度高一点同时适用于检测，分类，都有提升
https://zhuanlan.zhihu.com/p/63910019

5、自注意力，self.attention
研究的不是很多，在imagewoof 中 加有2%的提升
https://github.com/sdoria/SimpleSelfAttention 实现代码
Self-Attention GAN 中的 self attention 机制

6、Looking for the Devil in the Details: Learning Trilinear Attention Sampling Network for Fine-grained
self attention部分做的很有新意，比nonlocal（更适用于短视频分类）更适用于静止图片，同时相比seblock，没有引入多余对参。sample以及distill部分，涉及到多阶段训练，训练代价较大

7、CVPR2020（ReID）：Relation-Aware Global Attention for Person Re-identification
本文的创新是提出了一个Relation-Aware Global Attention (RGA) module，该module可以捕获全局结构信息用于注意力学习，精度提升几个点。（有实现）
https://github.com/microsoft/Relation-Aware-Global-Attention-Networks
对比比较常见的NL SE,明显提升