【增量学习】Incremental Intent Detection for Medical Domainwith Contrastive Replay Networks

这篇2022年5月份的ACL文章出自于中科院

Abstract

传统的医疗意图检测方法需要固定的预定义意图类别。 然而，由于现实世界中新的医学意图不断涌现，这样的要求并不现实。 考虑到每次新数据和意图进入时存储和重新训练整个数据的计算成本很高，我们建议增量学习出现的意图，同时避免灾难性地忘记旧意图。 我们首先为医疗意图检测制定增量学习。 然后，我们采用基于记忆的方法来处理增量学习。我们进一步建议使用对比重放网络来增强该方法，该方法使用多级蒸馏和对比目标分别解决训练数据不平衡和医学生词。 实验表明，所提出的方法在两个基准上的准确率分别优于最先进的模型 5.7% 和 9.1%。

Introduction

介绍了在医疗中作者碰到的问题，就是医疗中经常会出现新的医学意图发现，说白了就是分类模型，然后传统的方式是预先定义好意图数，然后去构造数据训练模型，然而医疗中经常会添加新的意图识别，因此作者为了解决这个问题，进行了增量学习的相关研究。

Related Work

 作者谈到了医疗意图识别和增量学习的相关研究

Problem Defifinition

一些数学符号的定义，以及整个训练过程：

因为又固定保留数据限制，即B个，当每增加t个类别时，要减少之前每个类的样本量，直到B/(m+t)个。

Method

作者的方法主要有四个损失组成：

第一个就是：我们平常用到的交叉熵损失

第二个就是：蒸馏损失函数

 这个表达就是老模型的软标签去和新的logit进行交叉熵

第三个就是：CLS余弦距离损失

 目的还是为了保证老模型的参数变化不要太大

第四个就是：对比损失

 就是相同类别的语义空间要更近，不相同的类别的语义空间要更远

Experiments

实验部分，作者验证了该方案要比其他都要好很多

其中upperbound是训练所有样本的结果。

上述如有说的不对的，欢迎指出，麻烦点个赞，谢谢啦！