增量关系抽取中的灾难性遗忘与顺序敏感性

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

连续关系抽取是从非结构化文本中逐步抽取新事实的一项重要任务，该任务面临两个重要的挑战，即灾难性遗忘和顺序敏感性。本报告中我们将介绍一种新的课程元学习框架来解决上述两个问题。通过将元学习和课程学习相结合，快速调整模型参数以适应新的当前任务并减少先前任务对当前任务的干扰。框架内我们设计了一种新的关系表示学习方法，用于量化任务的难度。此外，我们还提出了一种新的基于难度的模型顺序敏感性度量指标，用于评估模型的鲁棒性。在三个基准数据集上的综合实验表明，我们提出的方法优于现有技术。

吴桐桐：东南大学-Monash大学联合培养博士生，中方导师漆桂林教授，澳方导师A.Prof. Reza Haffari、Dr. Yuan-Fang Li。主要研究方向为面向少样本或增量场景的关系抽取方法。本报告论文的部分工作在平安金融壹账通Gamma Lab研究院实习期间完成。

一、背景

关系抽取任务是从无结构文本中抽取结构化知识，知识的具体表现形式为三元组。

如图所示，从摘要中可以抽取relation extraction和information extraction之间具有构成成分的关系，最后的组织形式是关系抽取作为头实体、信息抽取作为尾实体、以及它们的关系标记为r。

增量关系抽取和普通关系抽取有什么区别？传统的关系抽取，通常是从零开始训练、训练阶段可以利用完全的训练语料库，进入测试阶段后模型往往只针对已经学习过的类别进行预测。但实际应用中，抽取任务是源源不断到达的，我们需要不断让模型学习一些新的类别。由于存储资源的限制和计算效率的要求，关系抽取器不能访问到以前看到的任务中的所有训练实例、也无法每遇到一个新的任务就重新训练一个模型。这两个因素导致关系抽取模型可能会出现一定的遗忘现象。

为了更好的理解增量学习中所面临的两个挑战，我们类比人类的学习给出了两个例子：

关于第一个问题灾难性遗忘，假设我们把自己的心智调整到小学阶段，学习如下三个任务：先学习乘法、再学习加法、然后学习除法，最后期末考试。很可能小学生会把最后一个刚学习的任务也就是除法记得更清楚，但学期之初学习的乘法、加法就已经忘记了。

这个现象在机器学习训练中称为灾难性遗忘：模型只记得当前任务的知识，而忽略或遗忘了之前已经学习过的任务的知识。这是我们在考试阶段的预测性能下降的一个简单事例。