论文链接:论文
代码链接:代码(Theano版本,论文作者给的源码)、代码(pytorch版本)、代码(tensorflow版本)
基本思想:
<Show,Attend and Tell>这篇论文,进行的是image caption这一经典的任务。相较于传统的encoder-decoder框架而言,作者认为不同的word应该对应到不同的图像区域,即在传统的框架基础上加入attention机制,论文的网络结构如下:
分析这个网络结构:
Input:image #size(224,224,3)
Encoder:使用VGG16网络结构对image进行特征提取,经过特征提取之后,得到(14,14,512)的feature map
Decoder:利用Attention机制得到显著的图像区域特征,而后使用Lstm进行解码,得到对应的image caption
论文笔记:
借助源码来理解论文实现思路:
(1)、经过Encoder模块:
我们可以得到(14,14,512)的feature map,就是论文中提到的
其中,L=14*14=196,相当于将feature map的每一个像素对应的512维向量作为ai。
(2)、接下来是attention机制了:
在步骤(1)中,我们得到了feature map中的每个像素对应的向量,feature map中的每个点都代表原图的某个区域。我们想对原图中的某个区域有突出关注,对feature map中的每个像素点分配权重:
其中,αt的维度是196,代表每个像素点分配对应的权重。
权重α的值由当前时刻图像特征a和前一时刻的状态ht决定,即论文中的:
在初始时刻,α完全由图像特征来决定,tensorflow版本的代码如下(该代码位于tensorflow版本代码model.py的77~79行):
其余时刻的et由上一时刻的状态h和图像特征a共同决定,计算如下:
将这一逻辑用框图表示为:
论文提出了两种attention(hard attention 和soft attention),下面将分别介绍:
(3)、hard attention
hard attention是希望在每一个时间点的feature map中,仅有一点进行响应,即仅有一点的值为1,其余各点皆为0,为"Stochastic"算法,此时zt的计算方式为:
由于hard attention不连续,所以并不可导,论文采用的方法是进行多次伯努利采样,而后最大化这个下界:
即将在特征为a的情况下取得word y的概率最大化,式中s为采样得到的点。
最大化这个式子,我们可以得到:
在图像特征为a的条件下,最有概率采样得到的点s( p(s|a) ),最能代表单词y( p(y|s,a) )。
具体的优化方法请看论文详述。
(4)、soft attention
这里的soft attention就是经典的全图加权和,网上也有许多大佬的解读,附上我认为比较好的一篇,其中的loss值处处可导,可直接用网络实现。soft attention
总结:
这篇论文中的许多思想值得我们借鉴,个人目前阶段没有在lstm解码部分进行详细阅读,但其与常规的解码思路相似,不再赘述。自己把公式从头到尾推一遍也有了许多的启发,作为刚了解这一方面的萌新,我要学习的还有很多东西,这段时间应该都会看attention方面的文章,尽量每日一篇笔记吧。才疏学浅,欢迎各位大佬批评指正!