Enhanced few shot relation extration through concept

Enhanced few shot relation extration through concept

简介：
在小样本数据中，提出了一种在关系抽取模型中融入概念的方法，因为对于相同的实体往往具有不同的概念，在句子中表示的含义不同。

模型流程：
实体概念嵌入(使用的已有的研究）
句子嵌入（bert_based_model）
概念-句子注意模块：
第一步过滤
因为这两个encode是在不同的向量空间里，提出添加全连接层的方式，使得两个向量映射到相同的空间，采用点乘的方式计算两个向量之间的相似度，在通过softmax层设置阈值的方式，过滤无关关系。
概念句子融合模块
第二步过滤
首先要把第一步过滤之后的关系和句子的embeddding做cat,采用自注意力机制，计算每一个概念和句子中每个词之间的相似度，sum求和作为sentence的encode

模型训练：
数据集：FewRel.1.0训练数据集作为论文的所有数据集，从其中抽取(50个关系作为训练集，16个作为测试集，14个作为validation）
access：acc
sentence encode：bert-base-uncased,参数使用Gao2019中的参数，pre-trained concept embedding3
(Shalaby et al., 2019).
实体概念：论文中的下载链接
过滤关系阈值为0.7
损失函数：Cross entropy
batch size
lr
optimizer