ACL2022 事件抽取论文之Query and Extract: Refining Event Extraction as Type-oriented Binary Decoding 阅读笔记

Title : Query and Extract: Refining Event Extraction as Type-oriented Binary Decoding

Author: Sijia Wang, Mo Yu, Shiyu Chang, Lichao Sun, Lifu Huang

单位：Virginia Tech WeChat AI University of California Santa Barbara Lehigh University

url：https://arxiv.org/abs/2110.07476

1.研究背景与动机

        在传统的事件抽取任务中，每个事件类型或参数角色都被视为一个原子符号，在这些方法中忽略了它们丰富的语义。一些研究通过利用事件类型结构、种子事件提及或问答（QA）探索事件类型的语义。然而，这些方法仍然是为单一目标事件本体论设计的，因此仅限于单一目标事件本体论，如ACE或ERE。随着多个本体的存在和处理新出现事件类型的挑战，有必要研究可推广的事件提取方法，并可以使用来自不同事件本体的所有可用训练数据。

        本文的方法可以自然地将各种本体作为一个统一的模型来处理，与之前的研究相比，本文的二进制解码机制可以直接处理任何以自然语言查询表示的事件类型或参数角色，从而有效地利用跨本体事件注释并进行零炮预测。此外，与基于QA的方法相比，本文的方法也可以进行zero-shot参数提取，不需要为参数角色创建高质量的问题，也不需要为不同的参数角色分别进行多次编码，因此更准确、更高效。

   本文贡献如下：

1. 将事件提取细化为查询和提取范式，这比以前的自上而下分类或基于QA的方法更具普遍性和效率
2. 设计了一个新的事件提取模型，该模型利用了事件类型和参数角色的丰富语义，提高了准确性和通用性
3. 在ACE和ERE上建立了监督和zero-shot事件提取的最新性能，并将本文的框架作为跨本体传输的有效统一模型进行了演示。

2.方法

        本文的研究方法如上图所示。

2.1检测触发器

2.1.1事件类型的表示

        事件类型表示为每个事件类型名称（如Attack）和其原型触发器的短列表，例如invaded和airstrikes。符号表示为

格式：

[事件类型，事件原型触发器]

        例如，对于事件类型Attack，其事件类型表示为：

[Attack invaded airstrikes overthrew ambushed]

        那么，这里有一个问题，那就是原型触发器如何选择？

        对于每个事件类型t，本文从训练数据中收集一组带注释的触发词。对于每个唯一的触发词，从整个训练数据集中计算其频率为fo，将其标记为t型事件触发的频率为ft，然后获得概率ft /fo，用于对t型事件的所有注释触发器进行排序。选择排名前K的词作为原型触发器{τ1，τ2，…，τK}。

2.1.2 上下文编码表示

        给定一个输入句子W={w1，w2，…，wN}，将每个事件类型作为一个查询来提取相应的事件触发器。

        为了得到事件类型，要如何来构建查询呢？

        首先将输入和事件类型串联成一个序列。

        其中，[SEP]是BERT编码器的分隔符。特殊符号[EVENT]用来强调是触发检测任务。

        然后，使用预训练的BERT编码器对整个序列进行编码，就可以得到整个序列的上下文表示。

        我们需要捕获每个输入的token与事件类型的语义关联。因此，应用注意机制来了解事件类型查询上下文表示序列上的权重分布，并获得每个token的事件类型感知上下文表示（输入token与每个事件类型token的attention）：

        其中，Tj是序列中第j个标记的上下文表示。cos（·）是两个向量之间的余弦相似函数。表示第i个输入的token wi对于事件类型t注意上下文表示。

        此外，事件触发器的预测还取决于特定上下文的发生。为了捕获这些上下文信息，进一步应用上下文注意来捕获每个输入标记上下文词（输入token之间的attention）：

         ρ（.）是注意函数，计算为最后m层BERT的自我注意权重的平均值。

2.1.3 事件触发器检测

        通过以上两个attention，输入句子中的每个token wi将获得两个上下文表示AWi和ATi。将它们与来自BERT编码器的原始上下文表示wi连接起来，并将其分类为二进制标签，指示其是否为事件类型t的候选触发器：

         [；]表示串联操作，Uo是用于事件触发检测的可学习参数矩阵，Pi是单词wi的独热的词性编码。定义的损失函数为：

        是目标事件类型集，是来自训练数据集的标记集。表示正确的标签向量。

2.2事件参数提取

2.2.1 上下文编码表示

        给定句子W={w1，w2，…，wN}及其事件类型t中的候选触发器r，首先获得事件类型t的预定义参数角色集，即Gt={g1t，g2t，，…，gDt}。为了提取r的相应参数，类似于事件触发器检测，将所有参数角色Gt作为一个查询，并将它们与原始输入语句连接起来:

         其中，本文使用最后一个[sep]来表示实体不是论元参数。然后，用另一个预训练的BERT编码器对整个序列进行编码，以获得句子的上下文表示，以及参数角色Gt={g0t，g1t，g2t，，…，gDt，gothert}。（g0t表示第一个[sep], gothert表示最后一个[sep]）

        应用BERT-CRF模型，，以识别实体。

2.2.2 多路注意机制

        多路注意给定t类型候选触发器r和实体ei，对于每个参数角色gjt，需要确定r和ei之间的基本关系是否对应于gjt，即ei是否在事件提及r时扮演gjt的参数角色。为此，对于每个ei，首先获得一个trigger-aware实体表示，如：

        ◦ 表示按元素的乘法运算。Uh是一个可学习的参数矩阵。

        为了确定每个参数角色和每个实体之间的语义相关性，首先计算trigger-aware实体表示{h1，h2，…，hm}和参数角色表示{g0t，g1t，g2t，，…，gDt，gothert}之间的相似度矩阵S。

         其中σ表示点积运算符，d表示gt的嵌入维数，Sij表示实体ei与给定候选触发器r的特定参数角色gjt的语义关联程度。

        基于相关矩阵S，进一步应用双向注意机制，获得每个实体的参数角色感知上下文表示和每个参数角色的实体感知上下文表示（实体注意参数角色，参数角色注意实体）：

        同时，基于之前的研究表明，实体或论点角色之间的潜在关系对于提取论点也很重要。为了获取实体之间和参数之间的潜在关系，进一步计算它们之间的自我注意（实体注意实体，参数角色注意参数角色）：

  

2.2.3 事件参数预测

        对于每个候选事件触发器r，通过将实体ei正在上传…重新上传取消分类为二进制类来确定实体ei是否在事件提及中扮演gjt的参数角色：

 

        其中，Ua是用于参数提取的可学习参数矩阵。而是t类型事件的参数角色得分矩阵。要优化的损失函数为：

 

         其中A表示可能的参数角色的集合，是需要考虑的参数提取实体集。zij表示真值标签向量。

 

3.实验

3.1 实验设置

        数据集为ACE和ERE。使用与（Wadden等人，2019年；Lin等人，2020年；Du和Cardie，2020年）相同的ACE和ERE数据分割来进行监督事件提取。对于zero-shot事件提取，本文使用ACE中前10个最流行的事件类型作为已知类型进行训练，并将其余23个事件类型作为未知类型进行测试。

        实验中，使用随机种子并报告每个设置的平均分数。有关数据统计和评估的更多详细信息，请参见附录A。

        本文进一步设计了两个更具挑战性和实用性的设置，以评估该方法如何更好地利用来自不同本体的资源：

（1）跨本体直接传输，其中本文仅使用ACE或ERE的注释进行培训，并在另一个事件本体上直接测试模型。这与迁移学习文献中的领域适应设置相对应；

（2） joint-ontology-enhancement，将来自ACE和ERE的注释作为训练集，并分别在ACE或ERE本体上测试这些方法。

3.2 有监督的事件抽取

        表1显示了ACE和ERE数据集上各种方法的监督事件提取结果。本文不考虑时间和价值论点，方法明显优于以前的大多数可比基线方法，尤其是在ERE数据集上。

3.3 zero-shot事件抽取

         在zero-shot事件抽取下，本文方法明显优于BERT_QA _Arg，触发器检测的F分数提高了16%以上，参数提取的F分数提高了26%。BERT_ QA_ Arg只依赖于来自BERT编码器的自我注意来学习输入标记与事件类型或参数角色之间的相关性，本文的方法在BERT上下文表示上进一步应用了4个精心设计的注意机制，以更好地捕捉事件类型或参数角色与输入标记之间的语义交互，产生更好的准确性和概括性。

         本文进一步挑选了13种未知的事件类型，并分析了方法在每种类型上的zero-shot事件提取性能。如图3所示，方法在结婚、离婚、庭审和罚款方面表现得特别好，但在起诉、假释、指控起诉、证明和宣布破产方面表现得更差，原因可能有两个：第一，事件类型（如结婚、离婚）的语义比其他类型（如指控起诉、宣布破产）更直接和明确。因此，本文的方法可以更好地解释这些类型。其次，某些类型（如离婚）的事件触发因素的多样性远低于其他类型（如演示）。例如，在9个离婚事件触发器中，只有2个唯一的字符串，即离婚和破裂，而在7个事件提及的演示中，有6个唯一的字符串。

3.4跨本体转移

         表3显示了直接传输和增强设置中的跨本体传输结果。在所有设置下，本文的方法都显著优于基线方法。值得注意的是，对于直接传输，例如从ERE到ACE，通过将整个测试集上的F分数与ACE和ERE共享事件类型（括号中显示的F分数）上的性能进行比较，本文的方法不仅在共享事件类型上获得了更好的性能，而且还提取了ACE中新事件类型的事件触发器和参数。相反，基线方法很难为新的事件类型提取任何事件或参数。

        此外，通过将ACE和ERE的训练数据集结合起来进行联合本体增强，与仅使用目标事件本体的注释相比，本文的方法的性能可以进一步提高，显示出跨不同本体的优异传输能力。例如，ACE包括一个传输事件类型，而ERE定义了两个更细粒度的类型Transport Person和Transport Artifact。通过将来自ERE的传输人员和传输工件的注释添加到ACE中，本文的方法可以捕获与传输相关的事件类型查询和相应的输入标记之间的底层语义交互，从而在ACE测试集的传输事件类型上获得1.5%的F分数增益。

3.5 消融研究

        本文进一步评估了每种注意机制对事件触发检测和参数提取的影响。如表4所示，所有注意机制都显示出触发或参数提取的显著优势，尤其是在ERE数据集上。