文章原名:Improving Information Extraction by Acquiring External Evidence with Reinforcement Learning
作者:Karthik Narasimhan, Adam Yala, Regina Barzilay
单位:Computer Science and Artificial Intelligence Lab, MIT
译者:徐磊
链接:
http://arxiv.org/abs/1603.07954(可戳下方阅读原文)
1
导读
使用自然语言的文本来补全和修正结构化的数据,是产生大量结构化数据非常直观的想法。但是不同的文本提取信息的难度不同,有些可能非常直接的包含了所需要的信息,可以通过简单的方法得到,而另外一些则需要使用复杂的推理逻辑。显然,搜索恰当的文本来补全结构化数据可以提高性能。根据这个直观的想法,论文提出了一套强化学习(Reinforcement Learning)的框架。基本的想法是,每次让Agent提交一组搜索的关键词,用搜索结果来补全结构化数据。实验在美国的枪击案、美国的食品掺假两个数据集上进行,这个方法让信息抽取的性能显著的提升。
下图是一个例子,尽管两组文本都包含了枪手、死者数量的信息,但是acouple and four children 比 six members 更加难抽取。
2
模型
使用增强学习需要将信息抽取当作一个马尔可夫决定过程。下图是Agent与Environment进行一次交互的例子。
增强学习需要确定State、Action和Reward。在这个模型中,State包含了结构化数据中的信息,以及置信度等信息。Action包括产生一次搜索,以及一次对于结构化数据的更新。Reward被定义为
表示需要在最少的搜索次数下得到最好的抽取准确性。
文章采用了DQN (Deep Q Network) 进行增强学习。
3
实验
下表展示了在Shootings和Adulteration上,增强学习模型的性能。可以看到模型效果显著。
下图是训练过程中,不同实体的准确率,其中黑色实线是增强学习的平均奖励。
4
贡献
论文把增强学习应用到文本的信息抽取领域,思路新颖。论文主要解决了两个问题,(1)如何识别事件的一致性,即额外的文本与需要补全的实体一致,(2) 协调从多个文本中抽取到的信息,不同的文本对于同一实体的描述可能会有偏差或者错误,需要选择最佳的答案。为了解决这些问题,文中定义了一套精巧的增强学习的过程,使用现有的增强学习模型进行处理。实验证明,这个模型非常有效。