论文推荐丨MASKER：用于可靠文本分类的掩蔽关键字正则化

论文名称：MASKER: Masked Keyword Regularization for Reliable Text Classification

论文链接：https://www.aminer.cn/pub/5fdc7f5891e01104c9181075/

推荐理由：预先训练的语言模型已经在各种文本分类任务上达到了最先进的准确性，例如情感分析、自然语言推理和语义文本相似性。然而，经过调优的文本分类器的可靠性是一个经常被忽视的性能标准。例如，一个人可能想要一个模型，它可以检测出分布异常(OOD)样本(从远离训练分布的地方抽取)，或者对域转移具有鲁棒性。我们认为，可靠性的一个主要障碍是模型对有限数量的关键字的过度依赖，而不是查看整个上下文。特别地，我们发现(a) OOD样本通常包含独立关键字，而(b)跨域样本可能不总是包含关键字;在这两种情况下，过度依赖关键字都会带来问题。根据这一观察，我们提出了一种简单但有效的微调方法，即掩蔽关键字正则化(MASKER)，它有助于基于上下文的预测。MASKER将该模型正则化，从剩余的单词重建关键字，并在没有足够上下文的情况下进行低置信度预测。当应用于各种预先训练的语言模型(如BERT、RoBERTa和ALBERT)时，我们证明掩码器在不降低分类精度的情况下改善了OOD检测和跨域泛化。

订阅了解更多论文信息，定制您的个人科研动态信息流：https://www.aminer.cn/user/notification

#论文# #AMiner#