欢迎大家来到《知识星球》专栏,这里是网络结构1000变小专题。
作者&编辑 | 言有三
1 Attention模型
Attention机制已经被证明在很多的任务中都能提升其性能,我们在《AI不惑境》中已经专门总结了这个问题,今天给大家介绍一下来自于ElementAI的一个用于细粒度图像分类的复杂多尺度Attention模型。
有三AI知识星球-网络结构1000变
Pay attention to Activations
本文是一种多尺度的attention方法,它估计网络不同深度不同抽象层级的attention信息,最后在输出层进行attention信息融合获得最后的attention map。
作者/编辑 言有三
模型结构如上图所示,在不同抽象层级添加了Attention子模块,这里有两个概念,一个是AD,一个是AW。
所谓AD,就是感知深度,对应各个抽象层级的特征。所谓AW,就是感知宽度,对于需要感知的目标种类,如动物的头,四肢等。
一个Attention Module的具体结构如下:
它首先输入B*C*H*W的特征图,输出B*1*H*W的经过softmax的Attention head热图,如下:
此后output_head基于Attention head的输出,预测各个类别的概率,输入包括B*C*H*W的特征图,B*1*H*W的Attention head热图,输出B*Class*1*1。这就是基于空间位置,对整图类别的Attention。
另外,不同的heads(即感知的目标种类)也应该有不同的权重,因此还需要对其进行Attention。
综上,一个Attention模块的输出如下:
最后的特征输出为各个Attention模块输出和原始全连接预测的加权和。
这里的权重值g来自于最后池化后的特征使用一个全连接层学习而来。
结果如何呢?
上图反映了不同AD和AW对性能的影响,可知增大AD和AW都有利于提升性能。
上图展示了各个Attention Depth的各个Attention Heads的结果,可见成功实现了初衷。
下表展示了在各大细粒度分类数据集上的结果,在不实用预训练和高清输入时,若干数据集上取得了最好的效果。
[1] Lopez P R, Dorta D V, Preixens G C, et al. Pay attention to the activations: a modular attention mechanism for fine-grained image recognition[J]. IEEE Transactions on Multimedia, 2019.
2 更多网络结构
更多的Attention网络结构,可以移步知识星球阅读!
有三AI知识星球的内容非常多,大家可以预览一些内容如下。
以上所有内容
加入有三AI知识星球即可获取
来日方长
点击加入
不见不散
更多精彩
每日更新
转载文章请后台联系
侵权必究
往期精选