【每日一读】-- EMNLP2020：如何提高事件检测(ED)模型的鲁棒性和泛化能力？

• Paper: EMNLP2020-Findings: How Does Context Matter? On the Robustness of Event Detection with Context-Selective Mask Generalization
• Link: : https://www.aclweb.org/anthology/2020.findings-emnlp.229
• Authors: Jian Liu, Yubo Chen, Kang Liu, Yantao Jia, Zhicheng Sheng

这篇论文中指出，以往关于ED的工作都是考虑如何提升模型的性能，而较少考虑模型的鲁棒性和泛化能力，作者将模型的鲁棒性和泛化能力定义为如下三条，并通过设计模型进行研究：

• 抗攻击性能:当训练数据中被加入扰动，会如何影响模型性能；

• 类型的预测: 模型能否预测出训练集中未见过的事件类型；

• 事件类型的模糊性: 根据统计，70%的事件触发词能够触发不同类型的事件，如何正确识别出这些模糊性触发词在各自上下文中所触发的具体事件类型。

基于以上问题，作者提出一种新的学习方式，主要包括一下两部分:

• Contextselective discriminative learning: 根据句子内部的不同words的重要性得到trigger的上下文表示，目标是基于trigger的上下文表示预测句子中被mask的trigger的事件类型。

• Contextualized similarity learning：基于"相同类型的事件触发词应当具有相似上下文"的假设，以mask-contraining的句子对为输入，如何输入中的两个句子表达的是同一事件类型，则训练目标是使他们的masked triggers具有语义相近的上下文表示。

作者分别将本文的模型与以往的SOTA模型进行了对比实验，证明了本文模型能较好地应对对抗攻击、未知类型预测和事件模糊性区分的问题。

---

了解更多深度学习相关知识与信息，请关注公众号深度学习的知识小屋