论文浅尝 | 一种基于对比微调的脚本事件预测生成方法

笔记整理：柴智华，东南大学硕士，研究方向为事件预测

链接：https://arxiv.org/pdf/2212.03496.pdf

1. 动机

脚本事件预测任务是指在给定上下文时，预测后续事件。这需要推断事件之间相关性的能力。最近的工作试图通过使用预训练的语言模型并结合外部知识（如篇章关系）来改进事件相关性推理。尽管取得了可喜的成果，但仍然存在一些挑战。首先，当前工作采用的预训练的语言模型忽略了事件级知识，导致无法很好地捕捉事件之间的相关性。其次，用篇章关系建模事件之间的相关性是有局限性的，因为它只能用篇章标记捕获事件之间的显式相关性，而不能捕获许多隐式相关性。

2. 贡献

本文的主要贡献包括：

1）本文为这项任务提出了一种新的生成方法，其中预训练的语言模型用以事件为中心的预训练目标进行微调，并在生成范式中预测下一个事件。

2）本文引入了一种新的事件级空白填充策略作为学习目标，将事件级知识注入到预训练的语言模型中，并设计了一种基于可能性的对比损失，迫使模型学习区分正确和错误的候选事件。

3）多项选择叙述完形填空（MCNC）任务的实验结果表明，本文的方法比其他最先进的