【深度学习】各种注意力机制:encoder-decoder,self-attention,multi-head attention的区别
转载 各种注意力机制
论文 :https://arxiv.org/abs/2105.02358
代码:https://github.com/MenghaoGuo/-EANet
本次更新主要包含了三个方面:
加入了 multi-head external attention 机制,multi-head external attention 也可以使用两个线性层实现,由于有了 multi-head external attention 结构,我们实现了一个 MLP 结构,我们把它叫做 EAMLP。
补充了一个 ablation study 的实验以及一些分析,可以更清楚的理解这种 external attention 机制。
补充了 COCO 上的 object detection 和 instance segmentation 的实验和 Tiny ImageNet 上的生成实验。现在已经在图像分类、检测、分割、实例分割、图像生成、点云的分割和分割上证明了 external attention 的有效性。
其他见原文:转载-剩下部分写的非常好