基于注意力的卷积神经网络关系抽取模型Attention CNNS

基于注意力的卷积神经网络关系抽取模型Attention CNNS

模型源自：论文Relation Classification via Multi-Level Attention CNNs

要点

本模型的精髓在于使用了两次注意力机制与输入数据特征组合。对于输入数据而言考虑了与语义相关的词向量，与实体位置相关的位置向量，这两种向量进行拼接构成了最初始的向量。使用滑动窗口的方式进行获取目标词与周围词组合在一起的综合向量。第一次的注意力机制应用在实体与序列中每个词的相关性。将相关性矩阵与输入的综合词向量矩阵相乘构成了一个二维矩阵，该矩阵使用卷积提取特征后对卷积结果使用第二次注意力机制进行捕获视窗与关系的相关性。再将卷积结果与相关性矩阵相乘获取出最后的输出结果。

前置条件

首先默认为序列中的实体已经被标记出来了。关系的种类是确定的，每一种关系都会有这个关系对应的向量进行表达，可以是通过trans系列的算法获取的向量，也可以是其他算法，反正这个向量已经是拿到了的。词向量已经训练完毕，已经生成了词向量库。

模型结构

这里假设的是输入语句为：Fizzy drinks and meat cause heart disease and diabetes。实体分别为drinks和diabetes，这两个实体之间呈现的是因果关系。

损失函数

<