Dialogue-Based Relation Extraction

Abstract

• 提出了第一个基于人工标注的对话关系抽取数据集DialogRE旨在支持对出现在对话中的两个arguments（参数）的关系进行预测
• 提供DialogRE作为研究（cross-sentence）交叉句子RE的平台（as most facts span multiple sentences.）
• 基于对基于对话的任务和传统的RE任务的异同分析，我们认为Speaker的相关信息在任务中起着至关重要的作用
• 考虑到对话中交流的及时性（timeliness），我们设计了一个新的指标来评估对话环境中RE方法的性能，并研究DialogRE上几种代表性RE方法的性能。
• 实验结果表明，对表现最佳的模型的说话者意识的扩展可导致标准评估和会话评估设置的增加。 DialogRE可从https://dataset.org/dialogre/获得。（ Experimental results demon- strate that a speaker-aware extension on the best-performing model leads to gains in both the standard and conversational evaluation set- tings. DialogRE is available at https:// dataset.org/dialogre/.）

1.Introduction

• 跨句关系提取旨在识别同一句子中未同时提及的两个自变量之间的关系或任何一个句子都无法支持的关系，这是从大型语料库自动构建知识库的关键步骤（Ji等 等人，2010年； Swampillai和Stevenson，2010年； Surdeanu，2013年）。 但是，它尚未在自然语言处理方面接受广泛的研究。 尤其是，尽管对话很容易表现出跨句子的关系，但大多数现有的关系提取任务都集中在正式体裁的文本上，例如专业撰写和编辑的新闻报道或经过良好编辑的网站（Elsahar等，2018; Yao等） 等人，2019年;梅斯基塔（Mesquita）等人，2019年;格里什曼（Grishman），2019年），而对对话的研究不足。
• 本文通过构建第一个基于人工标注的基于对话的RE数据集DialogRE，开始了研究对话中关系提取的第一步
• 注释了1788对话中的arguments对之间存在的36种可能的关系类型。对话源于Friends 完整笔录（剧本）是近年来在对话研究中广泛采用的语料（Catizone等（2010）; Chen and Choi，2016; Chen et al。，2017; Zhou and Choi，2018; Rashid and Blanco，2018; Yang and Choi，2019）
• 我们总共标注了10168个关系三元组。对于每个（subject, relation type, object）三元组，我们还注释了最清楚表达关系的最小连续文本范围（text span）；这可能使研究人员能够探索关系提取方法，这些方法可以提供详尽的解释以及证据。例如，表1中加粗的文本“brother”表示speaker2（S2）和“Frank”之间的PER：SIBLINGS关系（R1和R2）。
• 对于DialogRE的分析表明，大多数（约96.0％）带注释的关系三元组的支持文本都包含来自多个句子的内容，这使得该数据集非常适合研究跨语句关系提取。 这可能是因为会话文本中的人称代词频率较高（Biber，1991），信息密度较低（Wang and Liu，2011）。 此外，65.9％的关系三元组涉及从未在同一回合（turn）中出现的论点，这表明多回合信息（multi-turn information）可能在基于对话的关系提取中发挥重要作用。 例如，为了证明“ Pheebs”是表1中S2的替代名称，在第二回合以及第一回合中都需要S2的响应。
• 接下来，我们通过比较DialogRE和Slot Filling数据集，对基于对话的和传统的关系提取任务之间的异同进行彻底研究（McNamee和Dang，2009； Ji等人，2010，2011； Surdeanu，2013； Surdeanu和 Ji，2014年），我们认为关系提取系统应注意对话中的speaker。 特别是，DialogRE中的大多数关系三元组（89.9％）表示说话者的属性或两个说话者之间的关系。 在百科全书协作者建立的现有知识库中，也发生了同样的现象，与我们用于注释的相同对话库有关（第3.2节）。 不幸的是，大多数以前的工作直接将现有的关系提取系统应用于对话，而没有明确考虑涉及的说话者（Yoshino等人，2011； Wang和Cardie，2012）。
• 传统的关系提取方法通常仅在阅读了整个文档并自由地依赖整个文本中多次提及关系的存在以确认其存在之后，才会输出一组关系。 但是，这些方法可能不足以为许多实用的基于实时对话的应用程序（如聊天机器人）提供动力，这可能需要在交互对话中首次提及时就认识到这种关系。 为了鼓励自动化方法尽早识别对话中两个自变量之间的关系，我们进一步为会话设置设计了一个新的绩效评估指标，该指标可作为标准F1度量的补充（本节 4.1）。
• 除了创建数据集和度量设计外，我们还采用了许多强大的，具有代表性的learning-based （Zeng等人，2014； Cai等人，2016； Yao等人，2019； Devlin等人