对比Attention的几种结构

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/yujianmin1990/article/details/81432851

前言

  Attention是一种思想,在当前输出上,是存在部分输入需要重点关注的,其对该输出贡献非常大。之前看到几篇关于attention思想的应用文章,现对比下其中的Attention具体结构上的区别。

NMT using Attention

  这篇文章是Bahdanau的2015年佳作,将Attention引入到NMT中并取得了非常好的效果,其中的attention结构不是非常容易理解。
  NMT面临的问题:通常的Encoder-Decoder翻译模式下,Encoder会将所有必要的信息压缩到一个定长向量中,而Decoder则依赖这个定长向量来做翻译。定长向量成了制约翻译效果的瓶颈,拓展模型自动寻找与待预测部分相关的source作辅助,会有更好的效果。该方法的主要思路是:每次翻译某个词之前,先找到source中最相关信息的位置,然后利用包含这些位置信息及之前预测词的context vector来预测下个词。其最大的特点:将输入序列编码到序列向量中,自适应地选择其子集供翻译时使用。

  让我们仔细地研究下Decoder其中的公式关系。
  当预测某个词时:

p(yi|y1,y2,...,yi1,X)=g(yi1,si,ci)

依赖于三个变量,前刻预测词yi1,当前的隐状态si,当前的上下文向量ci
  而当前的隐状态:
si=f(si1,yi1,ci)
,则依赖于前刻的隐状态si1,前刻的预测词yi1,当前的上下文向量ci不同于常见的RNN结构里面的隐状态,增加对上下文ci的依赖。
  上下文向量ci涵盖了当前待预测词yi需要关注的source信息总和,ci=j=1Txαijhj。到底需要关注哪些source信息呢?对输入序列的对应定义解释变量hj,该变量描述了输入序列位置j处及附近的信息。αij则表示当前待预测词yi与source词xj附近信息的相关性程度(对每个xj的关注度)
  疑问1:为什么不直接model xjyi的关系呢?后文后有解释。
  疑问2:如何具体表示αij呢?
  αij=exp(eij)k=1Txexp(eik),根据所有输入词对yi的相关值eij作normalize,得到归一化的概率权重,其中eij=a(si1,hj)
  疑问3:如何理解eij能够描述source词xj([hj])与yi相关性。
  eij表达的是输入j附近与输出位置i的相关性评估,eij反映了hj在考虑前刻隐状态si1在决定当前隐状态si和生成预测值yi时的某种重要性。
  还是那个问题,为什么不直接modelxjyi的关系?一方面,会跳过解释变量h,没法跟当前的RNN模型结合在一起;另一方面,在预测时,不能直接得到yi的变量来计算(因为还没预测到),必须要借助前刻的信息si1,而si1也刚好包括前刻的必备信息。
  疑问4:关联函数a怎么表达呢?
  这里用了个前向网络eij=vaTtanh[Wasi1+Uahj])来表达(concate的形式,后面会介绍有好几种alignment形式),与模型一块训练。
  疑问5:如何在翻译模式中体现hj呢?
  输入序列的解释变量h如何实现的?与s是什么结构关系?解码器: Bidirection GRU for hj=[hj;hj],可以得知h是BRNN的隐状态,那么s又是什么呢?Encode时和Decode时的隐状态名称不同,前者称为h,后者称为s,这下明白了吧。
  来个Google的带有Attention的NMT动图,看下Encoder和Decoder在注意力机制下是如何交互的。

Global/Local Attention-based NMT

  Luong2015年的非常经典的文章,探索了Attention在NMT中的应用性,基于如何得到上下文向量c,定义了两种attention的结构形式,分别命名为global和local Attention。
  其中Global考虑Encoder的所有隐状态来生成上下向量c,而Local Attention则是仅考虑局部隐状态来生成上下文向量c,两种结构如下图描述:


  定义了几种target的隐状态ht与source的解释变量(隐状态)h¯s之间的相关性评估函数,如下:
score(ht,h¯s)={htTh¯sdothtTWah¯sgeneralvaTtanh(Wa[ht;h¯s])concat

  注意:这里的ht的下标只是定义方便,在使用的时候,还是第一小节里面的st1,预测某个y时的target输入隐状态。
  在Location的第一种形态下location-m,直接指定pt=t,然后使用窗口D×2内解释变量。而在Location的第二种形态location-p,对align关系引入波峰强度变化,以某个h为中心呈正态分布。
  局部中心的函数定义为:(其中S是source长度)
pt=Ssigmoid(vpTtanh(Wpht))

  align weight定义为:
at(s)=align(ht,h¯s)e(spt)22σ2

  其中align(ht,h¯s)=exp(score(ht,h¯s))sscore(ht,h¯s)2σ=DDsize/2
  为了在预测时,告知模型以往的align决策,将h~t也作为当前预测的输入,称其为Input-Feeding Approach。【这个地方,感觉好像也没什么必要,不管是global还是local里面,都有cth~t作贡献(隐藏着收敛效果),是不是就可以不用了】converage set 指的是,在翻译任务中通常会包括份收敛集,来记录追踪哪些source词已经被翻译了。在带有Attention的NMT中,align决策也需要知道之前的align信息。在Global和Local结构中,align决策都是独立的,需要有个操作将之前的align决策告诉当前的预测操作,因此需要单独的结构来完成这一功能,因此Input-Feed还是有必要的(可能这也是虽然结构简单但是效果仍然非常好的另外一个助力)。

Neural Image Caption Generation with Visual Attention

  图像注释问题非常接近于Encoder-Decoder结构,在生成图像的某部分描述时,能够集中于图像某部分,Attention是个非常匹配的机制。K Xu2015时在图像注释的工作中使用Attention机制,命名为Visual Attention。其中定义了两种Attention机制:Stochastic Hard Attention 和 Deterministic Soft Attention,都可以压缩一张图片用以生成一段语言描述。
  使用卷积网络CNN来提取图像特征作为解释变量,提取L个解释向量,每一个都表示了图像的某一部分。a={a1,a2,...,aL},aiRD,为了能够描述更基础的图像特征,在底层卷积层上来抽取解释向量;用LSTM来作为解码器,生成描述语句。
1)Stochastic Hard Attention
  st,i=1表示生成第t个词时,第i部分图像被关注(一共L部分)。将注意位置作为隐变量,可以将由解释变量ai确定的上下文z^t看作是随机变量【一方面,为随机选择关注部分图像作解释,一方面为采样寻优方法作约束】。

p(st,i=1|sj<t,a)=αt,iz^t=ist,iai

定义目标函数Ls,其下限值逼近于logp(y|a)
Ls=sp(s|a)logp(y|s,a)logsp(s|a)p(y|s,a)=logp(y|a)
LsW=sp(s|a)[logp(y|s,a)W+logp(y|s,a)logp(s|a)W]

上式指出基于MonteCarlo的采样方法来估计参数梯度是可行的,通过对αi决定的Multinoulli分布采样具体位置st,来估计参数导数,如下:
s~tMultinoulliL(αi)
LsW1Nn=1N[logp(y|s~n,a)W+logp(y|s~n,a)logp(s~n|a)W]

引入滑动平均来降低估计方差波动,对第k个mini-batch,如下处理:
bk=0.9×bk1+0.1×logp(y|s~k,a)

为进一步降低估计方差,引入熵H[s]
最终的梯度如下:
LsW1Nn=1N[logp(y|s~n,a)W+λr(logp(y|s~n,a)b)logp(s~n|a)W+λeH[s~n]W]

  λrλe是两个超参,上述式子相当于强化学习,对注意集中的后续动作收益是目标句子的似然概率值,在采样注意策略下。
  为什么称之为Hard Attention呢?是因为上下文z^所用的解释向量是通过服从αi的分布采样得来的。
2)Deteriministic Soft Attention
  若是不使用采样,而是直接使用所有的区域,就变成了soft attention,在Bahdanau的15年文章里就是类似的方法。
Ep(st|α)[z^t]=i=1Lαt,iai
  优势在于非常适合于直接使用梯度下降来寻优,最终的目标函数如下:
Ld=logP(y|s)+λiL[1tCαt,i]2

总结

Attention的基本结构:
1)可用采样估计梯度优化的Hard形式。
2)可直接计算梯度来优化的Soft形式。

Reference

  1. 2017 - 《Attention is All You Need》
  2. 2015 - 《Neural Machine Translation by Jointly Learning to Align and Translate》
  3. 2015 - 《NMT by Jointly Learning to Align and Translate》 source-code
  4. 2015 - 《Effective Approaches to Attention-based Neural Machine Translation》
  5. 2015 - 《Effective Approaches to Attention-based NMT》 source-code
  6. 2015 - 《Show, Attention and Tell: Neural Image Caption Generation with Visual Attention》
  7. 2015 - 《Deep Visual-Semantic Alignments for Generating Image Descriptions》
  8. https://ai.googleblog.com/2016/09/a-neural-network-for-machine.html
展开阅读全文

没有更多推荐了,返回首页