知识图谱_关系抽取_文献笔记（三）———利用分层强化学习

本文介绍一篇发表在AAAI 2019上的关系抽取方向的文章：A Hierarchical Framework for Relation Extraction with Reinforcement Learning。对知识图谱关系抽取前世了解一下。

源代码：https://github.com/truthless11/HRL-RE

【一些废话】paper中其实对于任务具体是个什么样子，预训练的过程，为什么预训练之后需要用到强化学习、强化学习中的reward设计没有讲特别清楚，建议看源码！！建议看源码！！建议看源码！！我也是在看完源码后写下这篇笔记以备不时之需啦！强化学习在nlp中用的较少，这篇真是太厉害了！而且这是一篇看起来简单，其实蛮复杂的文章，一定要花大篇幅介绍。

一、数据格式

每一条数据如下图所示，看了数据对任务会更清晰一点，本文的任务就是训练一个模型，输入为下图的sentext，希望模型能输出relations（包含其中的rtext，em2，em1，tags），想一下人能不能通过输入标出这么多输出呢，答案是能，说明我们的人工智能真的是朝向自然人的思考方式在发展：

二、框架简介

分层强化学习包含两层强化学习，分别为high-level（用于检测关系）和low-level（用于提取描述该关系的实体对）, 整个过程如上图所示： (I). 依次遍历句子的每个单词，high-level如果在某个单词处，鉴定之前的这段句子存在某种关系 ，就会激发一个low-level的序列标注 (II). 当low-level完成了实体抽取 (III), high- level就会继续遍历剩下的句子(IV) .

这个时候你会有疑问，high-level怎样检测关系，low-level怎样提取实体对，下面还会详细介绍！

三、方法优点

现有的关系抽取方法：

        1）先识别实体，再确定实体之间的关系，一是没有考虑实体与关系之间的交互，将他们割裂成两个子任务分别处理，二是一个句子对不一定只描述一种关系；

        2）关系抽取会存在重叠关系问题（也叫一对多问题）：在一句话中，一个实体可能参与进了多个关系，或者一个实体对可能存在多种关系。目前已知只有CopyR方法研究了这个问题（但是本文作者实验证明了这种方法严重依赖数据，并且无法抽取多词语关系）。

本文改进：

        1）应用分层强化学习框架来增强实体提及和关系类型之间的交互，将相关实体视为关系的证明，他们之间的依赖交互关系通过state和reward的设计来实现。state为强化学习中的状态，high-level的强化学习在启动low-level的强化学习来抽取实体时，会将自身的state传给low-level，low-level在完成任务后会把自身的state传给high-level；reward为强化学习中的奖赏，low-level在完成任务后也会把自身的reward传给high-level，来表示任务是不是被很好的完成。

        2）因为会先检测关系，再抽取该关系的实体，重叠关系（overlapping relations）得以被分开处理。

四、框架细节

1. 整体框架

首先，文章定义了“关系指示符”（relation indicator）。 当在一句话中的某个位置有足够信息去识别语义关系时，我们把这个位置就叫做“关系指示符”。它可以是名词（his father）、动词（die of）、介词（in），或者是一些其他的符号比如逗号、时间等等。 关系指示符在本结构中非常重要，因为整个的关系抽取任务可以分解为“在关系指示符处检测关系”和“关系中的实体抽取”。

整体来看，关系抽取过程如下：

1）high-level主要是预测rtext：一个agent遍历句子的每一个单词，预测这个位置之前的那段句子表示的关系类型（不同于识别实体对之间关系的关系分类，该过程不需要对实体进行标注，你可以理解它是根据句子中是否包含his father，in，die of等预测的）。当在一个时间步中没有足够的信息来指示语义关系时，agent可以选择NR，表示没有关系。否则，触发一个关系指示符，agent启动一个用于实体提取的子任务。

2）实体提取是通过序列标注完成的，先根据第一步预测的关系对整个句子做标注（即得到tags），再根据tags得到em1和em2，当实体被识别时，子任务完成，agent继续扫描句子的其余部分寻找其他关系。