#今日论文推荐# 全新Backbone | 模拟CNN创造更具效率的Self-Attention
在本文中提出了一种新的注意力机制,称为交叉注意力
,交叉注意力
通过交替应用图像Patch
内部的注意力而不是整个图像来捕获局部信息,并在单通道特征图分割出来的图像Patch
之间应用注意来捕获全局信息。变压器的计算量都不如标准的自注意,而不是像ViT
那样通过整个图像来捕获全局信息。
论文题目:CAT: Cross Attention in Vision Transformer
详细解读:https://www.aminer.cn/research_report/6281d0427cb68b460fb98232?download=false
AMiner链接:https://www.aminer.cn/?f=cs