Attention model

Attention model

Attention 机制在语音识别、机器翻译和词性标注等序列化 数据中表现非凡，attention 机制可以单独使用，也可以在其他 混合模型中作为其他混合模型的层使用，可以放在文本向量输 入层之后也可以放在其他网络模型训练数据之后，通过对数据 进行自动加权变换，把两个不同的部分联系起来，突出重点的 词语，使整个系统表现出更好的性能。Attention 机制类似人脑 的观察某些事物的原理，如人们为了描述某些画的内容而去观 察某幅画，首先会观察这幅画上的题的字，然后根据判断有目 的地去观察这幅图中表现主题的那部分内容；当去描述这幅画 时，往往会先描述与这幅画最相关的内容，然后再去描述其他 方面的内容；attention 机制就是一种通过在关键信息上分配足 够的关注、突出局部重要信息的机制。attention 机制通常可以 分为两类：时间 attention 机制和空间 attention 机制，本文用到 的主要是时间注意力。attention 机制是一种类似人脑的注意力 资源分配机制，通过概率权重分配的方式，计算不同时刻词向 量的概率权重，使一些词语能够得到更多的关注，从而提高该 隐藏层特征提取的质量。Attention model 基本结构如图 5 所示。

在 attention model 中，初始隐层状态到新的隐层状态的向量s是各个隐层状态在新的隐层状态所占的比重大小的权重系数 ai 与初始输入的各个隐层状态 i h 乘积的累加和，计算公式如 下：

其中： i e 表示第 i 时刻隐层状态向量 i h 所决定的能量值， i v 和 wi 表示第 i 时刻的权重系数矩阵， i b 表示第 i 时刻相应的偏移量。 通过式(9)可以实现从输入的初始状态到新的注意力状态的转换。