Tensorflow学习——Attention

tf.contrib.seq2seq.LuongAttention

init(
num_units,
memory,
memory_sequence_length=None,
scale=False,
probability_fn=None,
score_mask_value=float(‘-inf’),
name=’LuongAttention’
)

参数	含义
num_units	在encoder阶段产生了多个特征向量，每个特征向量的大小
memory	一个batch里，encoder阶段产生的所有的特征向量，在RNNencoder中，维数为[batch_size, max_time, num_units]，即encoder阶段产生了max_time个大小为num_units的特征向量
memory_sequence_length	记录memory中 的特征向量的长度，维数是[batch_size,]，令memory中超过memory_sequence_length的值为0
scale	是否进行scale
probabi