深度学习的Attention模型

原创 2017年10月12日 09:16:13

前言

前面看到谷歌发表的运用在机器翻译上的论文《Attention is all you need》,很是让人惊讶,这是一种全新的模型,与之前的经典的seq2seq模型改动较大,它完全摒弃了RNN或CNN神经网络,大大简化了模型的复杂度,而且效果还相当好。当然Attention模型可以单独使用,但这篇文章我们来看看Attention的机制及怎么与经典的seq2seq结合。

seq2seq

前面我们有详细的文章介绍了seq2seq的机制以及如何用TensorFlow来实现seq2seq。可到《深度学习的seq2seq模型》《TensorFlow实现seq2seq》阅读。

seq2seq模型结构基本都大同小异,下面用一种常见结构进行说明,我们可以看到decoder将不同时刻的输入最后用一个状态C来表示,encoder部分的不同时刻的输出则为yt=g(yt1,ht,C),且有ht=f(ht1,yt1,C),可以看到,不同时刻的输入被编码成C,而不同时刻的输出与上一时刻的输出、当前时刻的隐含状态、编码状态C都相关,而当前时刻隐含状态由于上一时刻的隐含状态、上个时刻输出、编码C相关。

这里写图片描述

seq2seq缺点

seq2seq模型是处理序列问题的大杀器,由它实现的encoder-decoder模型让其在很多场景都发挥着强大的作用,得到了很不错的效果。但它也有自己的局限性,被认为最大限制了seq2seq能力的就在于编码和解码之间的唯一联系就是一个固定长度的语义向量C。

我们可以看到上面,encoder的不同时刻的输入都被编码成状态C,这个便是语义向量。从这个角度去看,它将整个序列的信息压缩到一个固定长度的向量中去了。对于短序列来说,这种做法可能问题不大,但如果是较长较复杂的队列,则该语义向量可能无法完全表示整个序列的信息。而且先输入的序列的信息会被后输入的序列信息稀释掉。输入序列越长,这个现象就越严重。如果我们得到一个有损的语义编码,那对后面的解码也很可能会产生影响。

另外seq2seq模型一般会使用RNN,而RNN因为与上一时刻状态相关,所以不能并行运算,效率低。但这是所有使用RNN的局限性,除非不使用它。

Attention模型

为了解决语义损失和信息稀释的问题,提出了Attention模型,Attention即注意力,它是模拟了人类的视觉注意机制而来,比如当观察某个画面时,注意力聚焦到其中某一部分,其余部分则变得模糊。

这里写图片描述

按照图,咱们往下详细看Attention模型怎么与seq2seq结合。对于decoder,输出为

yt=g(yt1,ht,C)

这里的C已经与前面说到的seq2seq的语义向量C不同了,已经不再是将所有输入进行编码,下面会说到C怎么计算。再看隐含状态,

ht=f(ht1,yt1,C)

C向量计算公式为,

Ct=Txj=1atjhj

我们可以将其中的a看成是各个时刻的输出的不同时刻的输入对应的权重,其实就可以使用softmax来计算,它的计算公式为,

atj=exp(etj)Txk=1exp(etk)

其中,

etj=w(ht1,hj)

这里写图片描述

通过上面几个公式就基本描述了seq2seq与Attention的结合,其中每个输出多了注意力向量参与,注意力的权重由上一时刻隐含状态与encoder的各个输入的隐含状态共同决定。

在seq2seq模型上加上Attention模型,克服了语义损失和信息稀释的问题,但是它也引入了额外的成本,对于m个输入,n个输出的结构中,Attention参数也达到了m*n的数量级。

以下是广告相关阅读

========广告时间========

公众号的菜单已分为“分布式”、“机器学习”、“深度学习”、“NLP”、“Java深度”、“Java并发核心”、“JDK源码”、“Tomcat内核”等,可能有一款适合你的胃口。

鄙人的新书《Tomcat内核设计剖析》已经在京东销售了,有需要的朋友可以购买。感谢各位朋友。

为什么写《Tomcat内核设计剖析》

=========================

相关阅读:
《深度学习的seq2seq模型》
《TensorFlow实现seq2seq》

欢迎关注:

版权声明:本文为博主原创文章,未经博主允许不得转载。

深度学习中的Attention模型介绍及其进展

近期对深度学习中的Attention模型进行了深入研究,该模型在图像识别、语音识别和自然语言处理三大深度学习的热门领域均有广泛的使用,是2014和2015年深度学习领域的重要进展。现对其原理、主要应用...

深度学习笔记——Attention Model(注意力模型)学习总结

Attention Model(注意力模型)学习总结,包括soft Attention Model,Global Attention Model和Local Attention Model,静态AM,...
  • mpk_no1
  • mpk_no1
  • 2017年08月06日 21:49
  • 6358

深度学习笔记(六):Encoder-Decoder模型和Attention模型

这两天在看attention模型,看了下知乎上的几个回答,很多人都推荐了一篇文章Neural Machine Translation by Jointly Learning to Align and ...

用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践(转载)

本文转载自:http://blog.csdn.net/u013818406/article/details/69359816 近来在同时做一个应用深度学习解决淘宝商品的类目预...

用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践

转处:https://zhuanlan.zhihu.com/p/25928551 用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践 清凇 ...

用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践(转载)

近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目,恰好硕士毕业时论文题目便是文本分类问题,趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的相关的思路、做法和部分实践的经验。 业...

深度学习笔记(2):caffe 加新层 Attention LSTM layer

深度学习笔记(2):caffe 加新层 Attention LSTM layer

深度学习笔记(1):caffe 添加新层 attention LSTM layer和LSTM layer代码精读

深度学习笔记(1):caffe 添加新层 attention LSTM layer和LSTM layer代码精读

用深度学习(CNN RNN Attention)解决大规模文本分类问题

一、传统文本分类方法 文本分类问题算是自然语言处理领域中一个非常经典的问题了,相关研究最早可以追溯到上世纪50年代,当时是通过专家规则(Pattern)进行分类,甚至在80年代初一度发展到利用知识工...

[深度学习论文笔记][Attention] Spatial Transformer Networks

Jaderberg, Max, Karen Simonyan, and Andrew Zisserman. “Spatial transformer networks.” Advances in Ne...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习的Attention模型
举报原因:
原因补充:

(最多只允许输入30个字)