![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
attention
xinhuaxi120
这个作者很懒,什么都没留下…
展开
-
对神经网络机器翻译(NMT)的个人见解
首先,我们先看下经典的NMT的模型图: 这是英语对西班牙语的翻译。 有几点需要注意: (1)模型的最后输出层(FC),输出维度为训练集中所有词,即训练集中一个出现了n个词,那么输出维度就是n。 (2)模型每次只会对一个词进行预测,不能将整句话翻译出来。 (3)模型对每一个词进行预测翻译时,除了输入编码器的各个单元的状态和最后的总的隐藏状态,还必须输入“引子”。 比如对预测第一个词,必...原创 2018-12-04 22:02:06 · 2054 阅读 · 1 评论 -
对于机器翻译(NMT)中的注意力机制的实现-----python + tensorflow
对机器翻译中常用的两种注意力机制进行实现 (1)加性注意力机制 (2) 乘性注意力机制 def attention(hidden,enc_output,W1,W2,W3,V,att_select=None): ''' input: 隐藏层状态tensor, 编码器每个单元输出tensor, 权重矩阵W1,W2,V,注意力机制选择 'additive': 需要三个权重...原创 2018-12-05 21:41:51 · 2178 阅读 · 0 评论