e325: attention怎么解决_Attention 机制（1）——Knowledge Powered Attention

来源：AAAI 2019
链接：Deep Short Text Classification with Knowledge Powered Attention

介绍

使用外部知识资源（External Knowledge Resource）对短文本的语义表示进行增强。他应用注意力机制来评估知识的重要程度，提出了一个Short Text Classification with Knowledge powered Attention(STCKA) 的方法。对于获得的知识概念和原来的文本这两种角度（Aspect），他使用了两个attention，去分别评估权重，然后综合两种。最后让短文本编码矩阵与知识编码矩阵进行拼接。

结构

l Embedding部分

用的是字符级和词语级结合的embedding方式，字符级别用的是CNN，词语级别用的是预训练词向量。

l 短文本编码部分

用到的自注意力，他说不是用dot乘法，而使用element-wise 乘法。

过了自注意力之后就过个maxpooling，使得维度从从

变为

。

l 知识编码部分

C-ST：这里的q 是文本编码矩阵，它与第i个概念

结合，f用了个非线性变换函数，同时用softmax来标准化。

C-CS：第二个注意力只用第i个概念

。

两种注意力的结合这里的

可以作为超参数，也可以用一个网路来训练，论文用的后者。

最后获得知识编码矩阵

贡献

l 作者提出了知识加强的注意力机制用于短文本分类问题，这是第一个结合了知识库中的先验知识来丰富短文本的语义信息的注意力模型。

l 作者引入了两种注意力机制（C-ST和C-CS注意力）去衡量两种方向（aspect）下每一个概念（concept）的重要程度，还用一个软开关（soft switch）来获得概念的自适应权重。

l 在四个数据集的不同任务上做了大量实验，实验结果表明作者的模型优于研究进展方法。

实验

分析

1. AAAI的截稿大概是上一年的九月，论文成文的时候居然不试试BERT词向量，在embedding阶段可能就解决了不少问题了，ELMo等等的也没有尝试，比较遗憾。

2. 知识编码部分两个注意力出来的维度是不一样的，结合部分没有提到具体是怎么把两个维度不一样的矩阵弄成一样的，有点迷惑。

3. 两种注意力机制的结合部分，用一个独立的神经网络来实现参数调节，这个地方其实也相当于一种门机制？推测作者不是很想引入太多新的东西，所以在这个地方没提到这新概念。

4. 实验部分，不是讨论网络结构，加了个对于词向量是不是固定的探索实验，感觉不是很有必要。