Attention入门

学习链接 https://blog.csdn.net/jinyuan7708/article/details/81909549
学习链接：http://www.cnblogs.com/LittleHann/p/9722779.html
https://github.com/philipperemy/keras-attention-mechanism
https://github.com/keras-team/keras/issues/1472
Attention 输入：RNN的输出，
用attention时需要return_sequences = True
返回值：
返回的不是attention权重，而是每个timestep乘以权重后相加得到的向量。
输入:
输入是rnn的timesteps，也是最长输入序列的长度。keras
密集层：

inputs = Input(shape=(input_dims,))
attention_probs = Dense(input_dims, activation=‘softmax’, name=‘attention_probs’)(inputs)
attention_mul = merge([inputs, attention_probs], output_shape=input_dims, name=‘attention_mul’, mode=‘mul’)

在幕后：

Attention机制可以用Keras三行实现：
inputs = Input(shape=(input_dims,))
attention_probs = Dense(input_dims, activation=‘softmax’, name=‘attention_probs’)(inputs)
attention_mul = merge([inputs, attention_probs], output_shape=32, name=‘attention_mul’, mode=‘mul’)

我们应用具有Dense - Softmax与图层相同数量的输出参数的Input图层。注意矩阵具有input_dims x input_dims这里的形状。

然后我们Inputs通过乘以元素将图层与注意图层合并。

最后，激活矢量（概率分布）可以通过以下方式导出：

attention_vector = get_activations(m, testing_inputs_1, print_shape_only=True)[1].flatten()
文本分类算法中的Attention机制:
https://www.jianshu.com/p/f80de9829788