浅谈对Attention机制的理解及Keras实现
上篇文章讨论了下LSTM,说到LSTM就很难绕开Attention,这俩货一般连着用,以发挥更大的效果,所以这次我们来谈谈Attention机制。
直观理解
Attention机制,也就是注意力机制。我的理解是,它是一种自动加权方案,能帮我们自动找出对当前具体任务(比如分类、机器翻译等)最有贡献的样本。举个例子,如果判断一句话“你真帅”是夸奖还是贬低,那么显然“帅”字对分类的贡献比另外两个...
原创
2019-11-13 22:40:16 ·
3968 阅读 ·
2 评论