《A Hierarchical Framework for Relation Extraction with Reinforcement Learning》论文整理

《A Hierarchical Framework for RelationExtraction with Reinforcement Learning》论文整理

研究问题：关系抽取
研究方法: 如题
论文贡献：有效解决overlapping relations

Abstract

1. 提出一种新的将相关实体视为关系的参数的方法
2. 提出将等级强化框架（hierarchical reinforcementlearning (HRL) framework）用于新的范式中来加强实体 和关系之间的interaction。
3. 将抽取过程分解为两个层面的RLpolicy, 更好的解决overlapping问题
4. 远程监督，采用公共数据集，比其他方法更加有效

Introduction

our work consists two level RL process, in which high level reinforcement learning process and low level RL identifies and participatiing entities, as is shown in Figure 1.

两个贡献：

1. 设计一个全新的end to end 的hierarchical paradigm来一起发现关系以及相关的实体。two level RL process
2. 在范式中利用增强学习（重要特点：奖励机制），并提出一种方法使这两个任务相互作用，最终比一些传统方法都更好解决overlapping relation
   （注意：RL的奖励机制是指对一个任务完成后的整体评估，待所有子任务完成之后再Maximum(sum(r(子任务)))，最后对input和action都有影响，正越多越可行，负不可行，需要再训练。是一中feedback的方式。与lossF相比1.是max,2.非独立性，只能整体改进）

Related work

框架需要解决的问题：

1. 在一个句子中没有关系触发器（但其实存在某种关系）
2. 实体存在多个words
3. 不需要大量的标注
   ，，，，，，

Framework

OVERVIEW
Relation Indicator 类似于relation trigger，但可以是任意形式(,.)。用于识别语义关系的特殊位置


Relation Detection with High-level RL
The high level RL policy 旨在识别出句子S = w1w2 ··· wL中的关系。

1. Option: The option ot is selected from O ={NR} [ Rwhere NR indicates no relation, and R is the relation type set.

2. State: 代表的是进程状态。
   
   其中f是一个非线性的函数，W代表嵌入层，隐藏层ht是由BiLSTM计算所得，
   

3. Policy:µ : S -> O, 指明了选项的概率分布
   

4. Reward: 在执行ot时，会提供一个中间的奖励r去预测未来的回报。
   
   执行low-level的一种判断。ot = NR，则下一步执行新的high-level inter option。否则执行low-level policy实体抽取（?）

5. final reward：evaluation
   
   Entiity Extraction with Low-level RL
   当high-level policy的关系是NR的时候，则执行Low-level policy Π来提取对应关系的实体与前面的实现有些方面是相似的，其中high-level的option将会作为新的输入。

6. Action分配句中实体工作的。
   

7. State
   

8. Policy:
   

9. Reward：
   
   
   . Here 入(y) is a bias weight for down-weighing non-entity tag

Hierarchical Policy Learning
优化算法
high-level policy

low-level policy

Experiment

dataset: New York Times corpus


Overlapping Relation Extraction
• Type I: two triples share only one entity within a sentence
• Type II: two triples share two entities (both head and tail entities) within a sentence

注：这里的对比语料设计非常巧妙，值得借鉴

Interaction between the Two Policies

Conclusion and Future work

In this paper, we present a hierarchical extraction paradigm which approaches relation extraction via hierarchical reinforcement learning.将模型分为两步，high(relation) and low(entity).有效解决overlapping relation 问题

参考论文链接
原作者论文代码链接