©PaperWeekly 原创 · 作者|张琨
学校|中国科学技术大学博士生
研究方向|自然语言处理
论文标题:
MASKER: Masked Keyword Regularization for Reliable Text Classification
论文链接:
https://arxiv.org/abs/2012.09392
代码链接:
https://github.com/alinlab/MASKER
动机
文本分类是自然语言处理中一个基础但应用广泛的任务,而伴随着预训练模型的被提出,模型在文本分类任务上的效果也在不断被提升。虽然现有的预训练模型确实对文本分类的提升做出了突出贡献,但是利用文本分类模型进行微调存在一个可靠性问题。
模型会更过的依赖那些关键词,从而忽略了周围的上下文信息,模型会更过的依赖那些关键词,从而忽略了周围的上下文信息,试集中的数据分布是不同的,可能在训练集中某些关键词和某一类紧密关联,但在测试集中不是这样的,那么过渡依赖关键词的话,模型就会做出错误的判断。
除此之外,还有一个跨领域泛化的问题,在源域有效的关键词可能在目标域就不存在,这样模型在目标域的泛化就存在很大问题了。
比如下图,如果原域中 apple 指的就是苹果公司,那么当出现 OOD 的 apple 这个词的时候,模型应该能判断出来这已经不是在相同的域了,这时的 apple 就可能不再是关键词了。为了解决这个问题,本文在预训练模型的基础上提出了一个改进方案,主要用于增加模型的可靠性,尤其是在微调阶段的可靠性。