你的模型够可靠么？关键词掩码的模型可靠性提升方法探索

©PaperWeekly 原创 · 作者｜张琨

学校｜中国科学技术大学博士生

研究方向｜自然语言处理

论文标题：

MASKER: Masked Keyword Regularization for Reliable Text Classification

论文链接：

https://arxiv.org/abs/2012.09392

代码链接：

https://github.com/alinlab/MASKER

动机

文本分类是自然语言处理中一个基础但应用广泛的任务，而伴随着预训练模型的被提出，模型在文本分类任务上的效果也在不断被提升。虽然现有的预训练模型确实对文本分类的提升做出了突出贡献，但是利用文本分类模型进行微调存在一个可靠性问题。

模型会更过的依赖那些关键词，从而忽略了周围的上下文信息，模型会更过的依赖那些关键词，从而忽略了周围的上下文信息，试集中的数据分布是不同的，可能在训练集中某些关键词和某一类紧密关联，但在测试集中不是这样的，那么过渡依赖关键词的话，模型就会做出错误的判断。

除此之外，还有一个跨领域泛化的问题，在源域有效的关键词可能在目标域就不存在，这样模型在目标域的泛化就存在很大问题了。

比如下图，如果原域中 apple 指的就是苹果公司，那么当出现 OOD 的 apple 这个词的时候，模型应该能判断出来这已经不是在相同的域了，这时的 apple 就可能不再是关键词了。为了解决这个问题，本文在预训练模型的基础上提出了一个改进方案，主要用于增加模型的可靠性，尤其是在微调阶段的可靠性。