attention机制类似是一个划重点的过程
encoder后的内容可能会比较多,由于时间序列输出长度固定的局限性,加入attention,根据任务的不同重点关注特定的slot,然后在decoder
这个attention可以是一个匹配机制(矩阵变换、余弦相似度),也可以是一个简单的神经网络(根据隐层输出作为输入,输出是action)。
空间注意力
时间注意力
Soft Attention
Hard Attention
attention机制类似是一个划重点的过程
encoder后的内容可能会比较多,由于时间序列输出长度固定的局限性,加入attention,根据任务的不同重点关注特定的slot,然后在decoder
这个attention可以是一个匹配机制(矩阵变换、余弦相似度),也可以是一个简单的神经网络(根据隐层输出作为输入,输出是action)。
空间注意力
时间注意力
Soft Attention
Hard Attention