关系抽取论文笔记【研一上】03

一、《A Joint Neural Model for Information Extraction with Global Features》

1、为了捕获交叉子任务（实体、关系、事件任务）和交叉实例的相互依存，从一个句子中提取全局最优IE结果，并把它作为一个图

2、三个子任务：

（1）把句子转化为语境化的向量表示（使用倒数第三层的BERT输出，而不是最后的）【编码】，得到xi

（2）识别出实体和事件触发器作为节点，关系和event-argument链接作为边【识别】，上面的xi进入一个全连接层，得到yi，代表得分，用公式计算语境化向量表示X，其中A为训练参数矩阵，zi代表预测的标签

（3）使用局部分类器计算每个节点及其连接的得分【分类】，第i个节点的向量求均值得到vi，进入一个全连接层，得到节点的预测的标签yit，两个节点vi和vj连接后进入全连接层，得到他们之间的边的标签ykt，忽略节点和边的交互，可以得到图的局部得分s’(G)，结合全局特征向量fG得到图的全局得分s(G)，

（4）使用beam解码器寻找全局最优图。在解码阶段，使用全局特征捕获交叉子任务和交叉实例的相互依存关系【译码】，计算每个候选图的全局得分，然后选择最高的一个，但是这样复杂度过高，所以设计了beam search-based decoder，其包括节点步骤和边步骤

3、把实体、关系、事件抽取弄成了一个统一的框架

总结：用全局特征捕获交叉子任务（实体、关系、事件任务）以及交叉实例之间的相互依赖，设计出的一个联合端到端的信息抽取框架

二、《CopyMTL: Copy Mechanism for Joint Extraction of Entities and Relations with Multi-Task Learning》

1、在CopyRE模型（使用序列到序列的框架和复制机制直接产生关系三元组）上的改进，此模型存在两个问题：不能很好的辨别head和tail实体，不能预测含有多个token的实体

2、结合复制机制提出了一个多任务学习框架，命名为CopyMTL,

3、CopyRE：

（1）encoder把句子转化为向量表示（使用双向LSTM），

（2）decoder预测关系-实体三元组。包括三步，首先用生成模型预测关系，使用Copy-Mode分别在两个时间选择head实体和tail实体。Encoder的最后一层隐藏状态作为decoder的初始隐藏状态，decoder对encoder的隐藏状态做attention，得到ct，最后进入单向LSTM做预测

4、CopyMTL：在CopyRE的encoder部分增加一个序列标注任务（使用CRF做命名实体识别），多任务训练过程，

三、《Joint Extraction of Entities and Relations Based on a Novel Decomposition Strategy》

1、把联合抽取任务分为两个子任务，这两个子任务基于之前提出的span-based tagging scheme分解为很多序列标注问题，这样可以减少多余实体对的出现

（1）HE extraction：提取可能有对应关系的head实体 ，在head实体出现的收尾标记实体类型。分为两个子任务，第一个标记head实体的开始单词，标记过程为如果是head实体的开始位置，则标记为实体的类型，否则标记为O，第二个子任务标记head实体的结束位置，过程和前面一样

（2）TER extraction：对每个head实体提取对应的tail实体和关系，在有关系的tail实体的开始和结束标记关系的类型。分为两个子任务，和HE中的一样，区别是标记对应head实体的tail实体开始和结束位置，类型标记为关系类型，

总结：先抽取可能存在关系的head实体，然后针对每个head实体抽取对应的tail实体及其关系

四、《Relabel the Noise: Joint Extraction of Entities and Relations via  Cooperative Multiagents 》

1、解决远程监督数据有很多噪音标签数据，训练数据是远程监督对比知识库标注，而测试数据是人工标注，两者有一定的误差，通过使用a group of cooperative multiagents重新标记噪音实例，在这期间会计算continuous confidence score，为了利用这两个提取任务之间的相关性，设计了一个置信度共识模块，以收集所有代理的智慧，并重新分配带有置信度评分标签的嘈杂训练集

2、使用RL标记噪音数据，并在训练过程中调整标签，为了解决两个子任务（实体抽取、关系抽取）之间的关联性，通过不同的抽取角度训练一组cooperative multiagents评估实例的confidence，通过confidence consensus module实例会通过confidence-scored标签重新打标记，并且这个confidence信息也会参与调整训练过程中的损失，通过探索合适的标签分布提取器将会被优化。

3、每个agents之间互不影响，每个agent从实体抽取或关系抽取视角单独做决定并计算针对实例的信心得分，

4、multiagents会被分为两个小组，分别处理实体和关系，每个小组都有多个agent，在一个时间只有一个关系agent和两个实体agent工作，预测句子的信心得分，其他agent不工作。将这三个agent的得分相加除以三得到句子的得分，然后根据是正例还是负例得到句子的信心值C，

总结：通过使用a group of cooperative multiagents重新标记噪音实例来解决远程监督数据有很多噪音标签数据

五、《Relation Extraction with Explanation》

1、最近的远程监督的关系抽取通过学习句子的重要性权重解决不相关句子的影响。用细粒度的实体类型替换实体，不仅提高了关系抽取的可解释性，还提高了准确性，提出要自动生成干扰者语句并在训练时忽略这些干扰者语句。提高模型可解释性

2、用两个模型说明了较低的关系抽取正确率有较高的可解释性，提出的模型旨在提高准确性和可解释性两方面，在模型DirectSup和CNNs+ATT上的改进。

总结：采用细粒度的实体类型替换实体和自动生成干扰者语句并在训练时忽略这些干扰者语句以提高模型模型忽略掉不相关信息的能力的方法不仅提高了模型的准确性还提高了模型的可解释性。