本文介绍了注意力机制在自然语言处理中的重要性，特别是在seq2seq模型中的应用。文章详细阐述了为何需要注意力机制，如解决记忆和对齐问题，并概述了注意力机制的步骤，包括score function、alignment function和context vector function。同时，指出了attention机制的局限性，例如无法完全捕捉语序信息，这导致了Transformer模型引入位置编码的重要性。
本文可能极度雷同“参考文献【5】”，因为毕竟母版是它，本文只能说是我在它本身的的缩略篇，大家最好还是把原版好好看看，原本也是想转载的，但是目前作者好像几个月没更新了
1.前言
在自然语言领域常能看到attention的影子,无时无刻,无所不在,那attetion到底是什么呢,下面来说一下我的理解,也是对自己知识的一个总结 ,后续会继续补充.我们每次看看别人的参考理解时,似懂非懂,但是都能知道一个差不多的意思,那就是"attention大概是找到一句话中某个比较重要的词吧",那么现在深入了解一下吧。
大家可以阅读一下 深度学习中的注意力机制
这篇文章讲的很好
然后接下来进入主题
2.为什么需要注意力机制
我们不得不提一下seq2seq模型,将输入的序列转化为新的输出序列,前后输出的长度可以不相同,常用于翻译任务。这是attention常常伴随着Encoder-Decoder的模型下，而Encoder和Decoder最初使用RNN网络，目前使用Lstm或者GRU的神经网络。这样的神经网络有一下几个缺陷：
(1)记忆；当一个输入的序列够长时,机器就很难记住以前输入很多信息，虽然Lstm，GRU有一定缓解作用。但是当输入序列够长时&#x
最低0.47元/天 解锁文章
1357
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
