AAAI 2021 | 利用标签之间的混淆关系，提升文本分类效果

©PaperWeekly 原创 · 作者｜张琨

学校｜中国科学技术大学博士生

研究方向｜自然语言处理

论文标题：

Label Confusion Learning to Enhance Text Classification Models

论文作者：

Biyang Guo, Songqiao Han, Xiao Han, Hailiang Huang, Ting Lu

论文链接：

https://arxiv.org/abs/2012.04987

代码链接：

https://github.com/beyondguo/label_confusion_learning

动机

文本分类是 NLP 领域一个十分基础但非常重要的任务。目前针对文本分类的主流研究方法是一个复杂的模型用于文本表示，一个简单的分类层预测标签分布，一个交叉熵用于衡量预测概率分布和真实 one-hot 之间的损失。

更多的工作集中于第一步。这其实是有问题的，主要包含两个问题：

1. one-hot 的 label 表示假设标签之间是独立的，假设太强，忽略了标签之间的相互重叠关系；

2. one-hot 的 label 表示方法不仅丢失了标签包含的大量语义信息，同时会导致模型过于自信，在处理标签有噪声或者标签混淆度比较高的数据时出现问题。因此，需要对标签所包含的信息进行充分的处理和利用。

基于这样的一个出发点，本文提出了一种称为 Label Confusion Model（LCM）的方法。