【转载】Attention model

Attention model的分类

http://blog.csdn.net/mpk_no1/article/details/72862348

原理

http://blog.csdn.net/xbinworld/article/details/54607525

输出单词的每一个Hj和之前得到的输入内容的状态si-1进行计算

使用上述计算结果通过softmax得到不同的输入值对这一次的输出值的attention权重

每一个单词的权重乘以每一个输入单词在模型中的隐藏状态hj得到对于一个特定输出的隐藏层状态(此时对于每一个输出,隐藏层状态不再是encoder时求出的唯一的那个,而是对于不同输出的不同ci

si与yi分别是使用新的隐藏层状态ci得到的这一步的状态和输出。

阅读更多
换一批

没有更多推荐了,返回首页