关闭

深度学习的Attention模型

标签: 深度学习attention注意力seq2seq机器学习
2913人阅读 评论(1) 收藏 举报
分类:

前言

前面看到谷歌发表的运用在机器翻译上的论文《Attention is all you need》,很是让人惊讶,这是一种全新的模型,与之前的经典的seq2seq模型改动较大,它完全摒弃了RNN或CNN神经网络,大大简化了模型的复杂度,而且效果还相当好。当然Attention模型可以单独使用,但这篇文章我们来看看Attention的机制及怎么与经典的seq2seq结合。

seq2seq

前面我们有详细的文章介绍了seq2seq的机制以及如何用TensorFlow来实现seq2seq。可到《深度学习的seq2seq模型》《TensorFlow实现seq2seq》阅读。

seq2seq模型结构基本都大同小异,下面用一种常见结构进行说明,我们可以看到decoder将不同时刻的输入最后用一个状态C来表示,encoder部分的不同时刻的输出则为yt=g(yt1,ht,C),且有ht=f(ht1,yt1,C),可以看到,不同时刻的输入被编码成C,而不同时刻的输出与上一时刻的输出、当前时刻的隐含状态、编码状态C都相关,而当前时刻隐含状态由于上一时刻的隐含状态、上个时刻输出、编码C相关。

这里写图片描述

seq2seq缺点

seq2seq模型是处理序列问题的大杀器,由它实现的encoder-decoder模型让其在很多场景都发挥着强大的作用,得到了很不错的效果。但它也有自己的局限性,被认为最大限制了seq2seq能力的就在于编码和解码之间的唯一联系就是一个固定长度的语义向量C。

我们可以看到上面,encoder的不同时刻的输入都被编码成状态C,这个便是语义向量。从这个角度去看,它将整个序列的信息压缩到一个固定长度的向量中去了。对于短序列来说,这种做法可能问题不大,但如果是较长较复杂的队列,则该语义向量可能无法完全表示整个序列的信息。而且先输入的序列的信息会被后输入的序列信息稀释掉。输入序列越长,这个现象就越严重。如果我们得到一个有损的语义编码,那对后面的解码也很可能会产生影响。

另外seq2seq模型一般会使用RNN,而RNN因为与上一时刻状态相关,所以不能并行运算,效率低。但这是所有使用RNN的局限性,除非不使用它。

Attention模型

为了解决语义损失和信息稀释的问题,提出了Attention模型,Attention即注意力,它是模拟了人类的视觉注意机制而来,比如当观察某个画面时,注意力聚焦到其中某一部分,其余部分则变得模糊。

这里写图片描述

按照图,咱们往下详细看Attention模型怎么与seq2seq结合。对于decoder,输出为

yt=g(yt1,ht,C)

这里的C已经与前面说到的seq2seq的语义向量C不同了,已经不再是将所有输入进行编码,下面会说到C怎么计算。再看隐含状态,

ht=f(ht1,yt1,C)

C向量计算公式为,

Ct=Txj=1atjhj

我们可以将其中的a看成是各个时刻的输出的不同时刻的输入对应的权重,其实就可以使用softmax来计算,它的计算公式为,

atj=exp(etj)Txk=1exp(etk)

其中,

etj=w(ht1,hj)

这里写图片描述

通过上面几个公式就基本描述了seq2seq与Attention的结合,其中每个输出多了注意力向量参与,注意力的权重由上一时刻隐含状态与encoder的各个输入的隐含状态共同决定。

在seq2seq模型上加上Attention模型,克服了语义损失和信息稀释的问题,但是它也引入了额外的成本,对于m个输入,n个输出的结构中,Attention参数也达到了m*n的数量级。

以下是广告相关阅读

========广告时间========

公众号的菜单已分为“分布式”、“机器学习”、“深度学习”、“NLP”、“Java深度”、“Java并发核心”、“JDK源码”、“Tomcat内核”等,可能有一款适合你的胃口。

鄙人的新书《Tomcat内核设计剖析》已经在京东销售了,有需要的朋友可以购买。感谢各位朋友。

为什么写《Tomcat内核设计剖析》

=========================

相关阅读:
《深度学习的seq2seq模型》
《TensorFlow实现seq2seq》

欢迎关注:

0
0
查看评论

深度学习中的Attention模型介绍及其进展

近期对深度学习中的Attention模型进行了深入研究,该模型在图像识别、语音识别和自然语言处理三大深度学习的热门领域均有广泛的使用,是2014和2015年深度学习领域的重要进展。现对其原理、主要应用及研究进展进行详细介绍。
  • jteng
  • jteng
  • 2016-10-20 15:29
  • 7494

深度学习笔记(六):Encoder-Decoder模型和Attention模型

这两天在看attention模型,看了下知乎上的几个回答,很多人都推荐了一篇文章Neural Machine Translation by Jointly Learning to Align and Translate 我看了下,感觉非常的不错,里面还大概阐述了encoder-decoder(编码)...
  • u014595019
  • u014595019
  • 2016-10-15 23:09
  • 23656

深度学习笔记——Attention Model(注意力模型)学习总结

Attention Model(注意力模型)学习总结,包括soft Attention Model,Global Attention Model和Local Attention Model,静态AM,强制前向AM的一些介绍,以及AM具体实现公式的几个变体及介绍,最后附上了自己用keras实现的一个静...
  • mpk_no1
  • mpk_no1
  • 2017-08-06 21:49
  • 12667

自然语言处理中的Attention Model:是什么及为什么

要是关注深度学习在自然语言处理方面的研究进展,我相信你一定听说过Attention Model(后文有时会简称AM模型)这个词。AM模型应该说是过去一年来NLP领域中的重要进展之一,在很多场景被证明有效。听起来AM很高大上,其实它的基本思想是相当直观简洁的。
  • malefactor
  • malefactor
  • 2016-01-20 18:26
  • 64689

深度学习模型压缩方法综述(三)

目前在深度学习领域分类两个派别,一派为学院派,研究强大、复杂的模型网络和实验方法,为了追求更高的性能;另一派为工程派,旨在将算法更稳定、高效的落地在硬件平台上,效率是其追求的目标。复杂的模型固然具有更好的性能,但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。
  • wspba
  • wspba
  • 2017-07-24 22:43
  • 2613

深度学习方法(九):自然语言处理中的Attention Model注意力模型

上一篇博文深度学习方法(八):Encoder-Decoder模型,基本Sequence to Sequence模型描述了基本的Encoder-Decoder模型,在作为翻译模型的时候,这种基本的Encoder-Decoder模型有较大缺点,就是Encoder部分每一个输入对Decoder部分每一个输...
  • xbinworld
  • xbinworld
  • 2017-02-04 00:27
  • 7672

深度学习在 CTR 中应用

推荐系统需要解决两个问题: 记忆性: 比如通过历史数据知道”麻雀会飞”,”鸽子会飞” ;泛化性: 推断在历史数据中从未见过的情形,”带翅膀的动物会飞”。 WideDeep是怎么解决这两个问题呢?
  • QcloudCommunity
  • QcloudCommunity
  • 2017-09-06 11:03
  • 365

浅谈Attention-based Model【原理篇】

转载请标明出处:http://blog.csdn.net/wuzqchom/article/details/75792501 计划分为为三个部分: 浅谈Attention-based Model【原理篇】 浅谈Attention-based Model【源码篇】 浅谈Attention-ba...
  • wuzqChom
  • wuzqChom
  • 2017-07-22 19:24
  • 3216

人工机器:NDC-谷歌机器翻译破世界纪录,仅用Attention模型,无需CNN和RNN

NTM的成熟体DNC竟然达到了这种能力,不知道进化成完全体会是什么样子。竟然在机器翻译的准确率上超过了已经公布的所有模型,不愧是最接近现阶段最接近图灵机的有限图灵机。 在数码宝贝中,我最喜欢的是阿和的加布兽进化的究极体数码宝贝——钢铁加鲁鲁,其使用的武器绝对冷冻气——就洋溢着极其欠揍的高冷味道。
  • wishchin
  • wishchin
  • 2017-06-14 20:07
  • 880

深度学习之文本摘要自动生成

当我们点开某个网站或某个新闻APP的时候,经常能看到这样的题目:“14亿人都不知道的真相,历史的血泪……”、“删前速看!XXX视频流出”等,可是当我们点进去的时候,往往会发现,都是标题党,文章和内容完全不符合!   如果这时候有一种工具能先替我们阅读新闻,再提炼出关键内容,那么我们肯定不会...
  • wjmnju
  • wjmnju
  • 2017-12-06 13:47
  • 802
    作者
    https://github.com/sea-boat

    公众号:(内容包括分布式、机器学习、深度学习、NLP、Java深度、Java并发核心、JDK源码、Tomcat内核等等)



    微信:

    打赏作者

    如果您觉得作者写的文章有帮助到您,您可以打赏作者一瓶汽水(*^__^*)

    个人资料
    • 访问:1066999次
    • 积分:14127
    • 等级:
    • 排名:第1046名
    • 原创:327篇
    • 转载:5篇
    • 译文:1篇
    • 评论:348条
    博客专栏
    最新评论