qq_41356969的博客

转载 2021-03-27

NLP中的Attention 原理和源码的解析 1.核心思想 Attention 的思想如同它的名字一样，就是“注意力”，在预测结果时把注意力放在不同的特征上。 举个例子，比如在预测“阿诺今天做的早餐真好吃“的情感时，如果之预测正向还是负向，那真正影响结果的只有”真好吃“ 这三个字，前面说的”阿诺今天做的早餐“基本没什么用， 如果是直接对token embedding 进行平均求句子表示会引入不少的噪声。所以引入Attention机制，让我们可以根据任务目标赋予输入token的权重，理想情况下前半句的权重0