Attention model的分类
http://blog.csdn.net/mpk_no1/article/details/72862348
原理
http://blog.csdn.net/xbinworld/article/details/54607525
输出单词的每一个Hj和之前得到的输入内容的状态si-1进行计算
使用上述计算结果通过softmax得到不同的输入值对这一次的输出值的attention权重
每一个单词的权重乘以每一个输入单词在模型中的隐藏状态hj得到对于一个特定输出的隐藏层状态(此时对于每一个输出,隐藏层状态不再是encoder时求出的唯一的那个,而是对于不同输出的不同ci)
si与yi分别是使用新的隐藏层状态ci得到的这一步的状态和输出。