本文深入探讨了自然语言处理中的Attention机制，解释了它如何解决Encoder-Decoder框架中的信息稀释问题。通过引入Attention，使得在解码每个单词时能够根据上下文动态聚焦输入序列的不同部分，提高翻译的准确性。文章介绍了Attention的计算过程，包括对齐模型（Alignment model）的角色，以及如何通过加权求和来确定不同输入的关注程度。
前文传送门：
在上一次面试失利后，我回来仔细研究了一下Attention机制，研究完我不禁感悟，这机制真的厉害啊！因为我之前面试被问到的Encoder - Decoder框架中有个瓶颈是编码的结果以固定长度的中间向量表示，这导致较长的序列编码后很多信息被稀释了，导致解码时效果不佳。当时只记得有个Attention，但是不了解他的原理，所以上次面试没过：从零开始学自然语言处理(25)—— 通用的Encoder-Decoder模型框架
NLP中的Attention机制是在论文《NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE》被提出的，有兴趣的朋友可以去阅读论文：https://arxiv.org/pdf/1409.0473.pdf
上次面试问到的Encoder - Decoder框架如下图所示：
而加入Attention机制之后，Encoder - Decoder框架可以改为如下所示：
大家应该注意到上下两张图的主要区别在于中间向量C从固定不变的一个变成了不同的多个，在解码每个序列字符串时使用不同的Ci。
例如我们在翻译 “Through the woods, we re
最低0.47元/天 解锁文章
890
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
