VALSE学习（四）：注意力机制-Attention Network

VALSE2019 会议论文

一、精细化图像理解与多媒体内容创作

Trilinear Attention Sampling Network

近年来，精细化图像识别任务通常采用具有“注意力”机制的深度卷积神经网络，学习判别力的
目标区域、和精细化的特征表达。本次报告中，介绍三种区域定位和特征学习的联合训练方法，包括基
于递归注意力模型(Recurrent-Attention)、多区域注意力模型(Multiple-Attention), 和渐进式注意力模型
(progressive-Attention) 的卷积神经网络。实验表明，在精细化图像识别任务中，端到端的区域定位和特征学
习方法有助于提升识别的准确率。同时，将图像区域的特征学习和生成式模型结合，提出了具有深度“注意
力”机制的生成对抗网络。在生成任务中，基于区域的特征学习方法可以有效地提升生成样本的真实性，减少
生成模型中的模式崩塌问题。
Recurrent-attention cnn: 递归注意力模型

Multiple-Attention Cnn: 多区域注意力模型

Trilinear Attention module: 三重区域注意力模型

TASN：三重区域注意力采样网络：输入-三重注意力卷积-采样-结构保留-细节保留-分类