【每日一读】EMNLP2020：如何提高事件检测(ED)模型的鲁棒性和泛化能力？

来自：深度学习的知识小屋

• Paper: EMNLP2020-Findings: How Does Context Matter? On the Robustness of Event Detection with Context-Selective Mask Generalization

• Link: https://www.aclweb.org/anthology/2020.findings-emnlp.229

• Authors: Jian Liu, Yubo Chen, Kang Liu, Yantao Jia, Zhicheng Sheng

这篇论文中指出，以往关于ED的工作都是考虑如何提升模型的性能，而较少考虑模型的鲁棒性和泛化能力，作者将模型的鲁棒性和泛化能力定义为如下三条，并通过设计模型进行研究：

• 抗攻击性能:当训练数据中被加入扰动，会如何影响模型性能；

• 新类型的预测: 模型能否预测出训练集中未见过的事件类型；

• 事件类型的模糊性: 根据统计，70%的事件触发词能够触发不同类型的事件，如何正确识别出这些模糊性触发词在各自上下文中所触发的具体事件类型。

基于以上问题，作者提出一种新的学习方式，主要包括一下两部分:

• Contextselective discriminative learning: 根据句子内部的不同words的重要性得到trigger的上下文表示，目标是基于trigger的上下文表示预测句子中被mask的trigger的事件类型。

• Contextualized similarity learning：基于"相同类型的事件触发词应当具有相似上下文"的假设，以mask-contraining的句子对为输入，如何输入中的两个句子表达的是同一事件类型，则训练目标是使他们的masked triggers具有语义相近的上下文表示。

作者分别将本文的模型与以往的SOTA模型进行了对比实验，证明了本文模型能较好地应对对抗攻击、未知类型预测和事件模糊性区分的问题。

说个正事哈

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

（1）点击页面最上方“深度学习自然语言处理”，进入公众号主页。

（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

感谢支持，比心。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

推荐两个专辑给大家：

专辑 | 李宏毅人类语言处理2020笔记

专辑 | NLP论文解读

专辑 | 情感分析

整理不易，还望给个在看！