注意力机制原理_注意力机制Attention

1.简介

注意力机制是机器学习中为了模仿人类视觉的选择性注意力机制，为了将更多的“精力”集中到有用的信息上。

人类视觉的选择性注意力机制（转自）

在介绍注意力机制之前，首先要介绍一下Seq2Seq模型，它是一种序列转序列的模型，可以将一种语言的句子转换成另一种语言的句子（翻译），也可以是同一种语言的长句子转换成短句子（提取摘要）。

Seq2Seq模型里面有一种框架叫做Encoder-Decoder框架，这也是一开始注意力机制应用的场景之一。

Encoder-Decoder框架（转自）

框架很简单，训练样本是句子对<Source，Target>，模型训练的目的就是，输入Source，获得Target。

Source和Target具体是单词序列。

Encoder是通过某种变换，将Source进行编码，转换成中间表示C：

Decoder则是利用之前生成的历史信息和中间表示，来生成当前时刻i要生成的信息

在上述的Encoder-Decoder框架中，并没有引入注意力机制，它是一种注意力不集中的分心模型，我们可以看Target的生成过