Attention机制论文阅读——SCA-CNN

Attention机制论文阅读——SCA-CNN

2018年06月04日 21:48:26 电子楼战地记者 阅读数 5997更多

分类专栏： attention seq2seq

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/nbawj/article/details/80560452

论文：SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning

文章提出一个新颖的卷积神经网络叫做SCA-CNN，在CNN中加入了Spatial Attention和Channel-wise Attention机制。在图像标注任务中，SCA-CNN动态调制了多层特征图中的句子迭代的context，包含了where信息（和多层卷积层中的空间位置相关）和what信息（和channels相关）。

然而，大多数现有的基于注意力的图像字幕模型只考虑了空间特征，即那些注意模型仅通过空间细节权重将句子上下文调制到最后一个信息层特征图中。本文中，充分将CNN特征的三个特点应用在可视化的基于attention的image caption中。

Attention细节：

    文章借鉴流行的encoder-decoder框架，使用CNN作为编码器，使用LSTM网络作为解码器。SCA-CNN通过channel-wise attention 和spatial attention机制利用了CNN产生的多层特征图。

    要产生image caption的第t个单词，需要将前一个时刻LSTM网络的隐藏层状