Attention Models 注意力模型方法

An Attentive Survey of Attention Models

https://arxiv.org/pdf/1904.02874v1.pdf

2。 attention 模型
seq2seq模型包括一个编解码结构。通常都是RNN结构。
挑战：
1.编码器会压缩所有的输入信息到一个固定长度的向量。
2.不会像阅读理解和翻译一样的对齐操作。在seq2seq中，输出更期望与输入的特定部分相关。

关键：注意力机制可以访问所有的输入。并通过权重来判断输入各部门之间的优先级

使用：
在架构中主要是学习权重a，并用于构建上下文c，作为解码器的输入。在实现上是所有输入权重的加权和。能够解决输入机制中，能看到所有输入，并聚焦最相关的输入位置。（和cnn的 感受野比较小，rnn有传播长度的问题）

权重的学习：
权重的学习是通过一个前馈网络来学习。一般是通过q，v之间的一个函数学习。然后融入到整个架构中进行联合学习。
 

3. 分类
3、1 从输入的长度：
1.在经典的seq2seq中，注意力模型候选和查询属于不同的输入和出书序列。
2.有一个协同注意力模型处理多个序列的输入。注意用在问答系统里面。输入有两个输入，主要学习他们的权重，并抓取他们的交互信息。
3.对输入序列。有的场景是不需要输出的序列的。比如文本分类。实现过程中，可以用查询和候选的关系，也可以用自注意力模型。

3.2 从层次
一般的注意力模型对一层的情况进行考虑。

3.3 计算的位置，
经典注意力模型是对所有的输入串计算权重信息。可以有hard，可以计算随机采样或者窗口。

3.4 表示的数量
一般的都表示一个特征向量。有的下游任务需要多个，每个方面或者主题有不同对输入的token有不同的权重和表示。
一般的直觉，会影响每个纬度之间的相关性。