1.Attention model
2.memory network model
(1)做attention的vector和提取information的vector是不一样的两组(用不同的DNN一起训练得到)
(2)可以做hopping这件事:就是把得到的Extracted Information回过来再与Query做summation后继续再算新的attention scores(原始的做的工作是比summation更复杂的一些转换,注意以前的单纯attention model是直接把Extracted Information丢到DNN里得到output)
注意:每次hopping的参数不一样,每次都要用不同的DNN去产生不同的参数
Memory Network----------李宏毅视频笔记
最新推荐文章于 2022-07-17 19:51:44 发布