这篇论文提出了Attention机制对于Encoder-Decoder进行改进。在Encoder-Decoder结构中，Encoder将输入序列编码为 hn h n 。这样做的一个潜在问题是，如果原始序列中包含的许多信息，而 hn h n 的长度又是一定的，那么 hn h n 就存不下我们所需的所有信息。
利用Attention机制，Decoder可以在输入序列中选取需要的特征，提高了Encoder-Decoder模型的性能。
首先，让我们先来回顾下LSTM的机制。LSTM的结构图如下图所示：
* 红色表示输入
* 蓝色表示输出
* 绿色表示记忆单元
* 虚线表示前一时刻的变量
每个组件的具体表达式如下：
| 意义 | 表达式 |
|---|---|
| 数据输入 | z=g([xt,yt−1]) z = g ( [ x t , y t − 1 ] ) |
| 输入门 | i=σ[xt,yt−1,ct−1] i = σ [ x t , y t − 1 , c t − 1 ] |
| 遗忘门 | g=σ[xt,yt−1,ct−1] g = σ [ x t , y t − 1 , c t − 1 ] |
| 输出门 |
最低0.47元/天 解锁文章
1487
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
