【转载】Attention model

Attention model的分类

http://blog.csdn.net/mpk_no1/article/details/72862348

原理

http://blog.csdn.net/xbinworld/article/details/54607525

输出单词的每一个H_j和之前得到的输入内容的状态s_i-1进行计算

使用上述计算结果通过softmax得到不同的输入值对这一次的输出值的attention权重

每一个单词的权重乘以每一个输入单词在模型中的隐藏状态h_j得到对于一个特定输出的隐藏层状态（此时对于每一个输出，隐藏层状态不再是encoder时求出的唯一的那个，而是对于不同输出的不同c_i）

s_i与y_i分别是使用新的隐藏层状态c_i得到的这一步的状态和输出。