论文引介 | Information Extraction with Reinforcement Learning

　　文章原名：Improving Information Extraction by Acquiring External Evidence with Reinforcement Learning

　　作者：Karthik Narasimhan, Adam Yala, Regina Barzilay

　　单位：Computer Science and Artificial Intelligence Lab, MIT

　　译者：徐磊

　　链接：

　　http://arxiv.org/abs/1603.07954（可戳下方阅读原文）

　　1

　　导读

使用自然语言的文本来补全和修正结构化的数据，是产生大量结构化数据非常直观的想法。但是不同的文本提取信息的难度不同，有些可能非常直接的包含了所需要的信息，可以通过简单的方法得到，而另外一些则需要使用复杂的推理逻辑。显然，搜索恰当的文本来补全结构化数据可以提高性能。根据这个直观的想法，论文提出了一套强化学习(Reinforcement Learning)的框架。基本的想法是，每次让Agent提交一组搜索的关键词，用搜索结果来补全结构化数据。实验在美国的枪击案、美国的食品掺假两个数据集上进行，这个方法让信息抽取的性能显著的提升。

下图是一个例子，尽管两组文本都包含了枪手、死者数量的信息，但是acouple and four children 比 six members 更加难抽取。

　　

　　

　　2

　　模型

　　使用增强学习需要将信息抽取当作一个马尔可夫决定过程。下图是Agent与Environment进行一次交互的例子。

　　

　　增强学习需要确定State、Action和Reward。在这个模型中，State包含了结构化数据中的信息，以及置信度等信息。Action包括产生一次搜索，以及一次对于结构化数据的更新。Reward被定义为

　　表示需要在最少的搜索次数下得到最好的抽取准确性。

　　文章采用了DQN (Deep Q Network) 进行增强学习。

　　

　　3

　　实验

　　下表展示了在Shootings和Adulteration上，增强学习模型的性能。可以看到模型效果显著。

　　

　　下图是训练过程中，不同实体的准确率，其中黑色实线是增强学习的平均奖励。

　　

　　4

　　贡献

　　论文把增强学习应用到文本的信息抽取领域，思路新颖。论文主要解决了两个问题，(1)如何识别事件的一致性，即额外的文本与需要补全的实体一致，(2) 协调从多个文本中抽取到的信息，不同的文本对于同一实体的描述可能会有偏差或者错误，需要选择最佳的答案。为了解决这些问题，文中定义了一套精巧的增强学习的过程，使用现有的增强学习模型进行处理。实验证明，这个模型非常有效。