对于机器翻译(NMT)中的注意力机制的实现-----python + tensorflow
对机器翻译中常用的两种注意力机制进行实现
(1)加性注意力机制 (2) 乘性注意力机制
def attention(hidden,enc_output,W1,W2,W3,V,att_select=None):
'''
input: 隐藏层状态tensor, 编码器每个单元输出tensor, 权重矩阵W1,W2,V,注意力机制选择
'additive': 需要三个权重...
原创
2018-12-05 21:41:51 ·
2201 阅读 ·
0 评论