[Base] Agent Attention

1. BaseInfo

Title	Agent Attention: On the Integration of Softmax and Linear Attention
Adress	https://arxiv.org/pdf/2312.08874
Journal/Time	202312 ECCV2024
Author	清华自动化系
Code	https://github.com/LeapLabTHU/Agent-Attention
Table	Attention

2. Creative Q&A

Q：
Swin Transformer: 缩小感受野，局部自注意力。
PVT: 稀疏注意力模式，通过减少 Q 和 V 的数量。
影响长程关系建模能力，并且仍然不如全局自我关注机制。
A：
主要是针对 Softmax 计算复杂度的改进。引入了 A 的额外 token 。利用注意权重之间的冗余来实现高模型表达性和低计算复杂度。计算复杂度低了后，就可以采用更大的感受野。

3. Concrete

可应用下游任务：

• Classification
• Segmentation
• Detection
• Agent Attention for Stable Diffusion

3.1. Model

Softmax 和 Linear Attention 的集成。

DWC ： depthwise convolution
tokens A is obtained through pooling

3.2. Dataset

• ImageNet1K classification
• ADE20K semantic segmentation
• COCO object detection

3.3. Eval

3.4. Ablation

• Ablation on key designs.
• Ablation on number of agent tokens.
• Comparison with Other Linear Attention
  

3.5. Appendix

与 GPViT 和 GRL 的不同之处。
内容很丰富，后面实验的时候再仔细看吧…

4. Reference

Our code is developed on the top of PVT, Swin Transformer, CSwin Transformer and ToMeSD.

5. Additional

不想看代码就先读论文。在周三之前把 3 篇读完，尝试一下 SLViT 。
我现在看 0815 写的桥接论文给自己提出的问题都还没解决。
事情一件一件做吧。
我怎么觉得这篇论文我也看过，甚至在周报里还写过。
这个公式证明倒是写的也挺简洁明了。图也画的挺清晰的。
实验内容是真的丰富。附录里还有很多实验设置。
30页的论文。是一个即插即用的 Attention 模块。
笔记写的简略。