helluy的博客

MixText是ACL2020中的一篇半监督文本分类的论文，原文题目为《MixText: Linguistically-Informed Interpolation of Hidden Space for Semi-Supervised Text Classification》，一作为陈佳奥，佐治亚理工学院 PhD in CS。文章使用TMix数据增强技术，猜测未标记数据的低熵标签，对有标签和无标签混合数据计算损失，在少量标注数据上依然能取得好的效果。之前在半监督文本分类上的研究可分为以下几类：VAEs

通用句子编码器是google在2018年提出的将句子编码成嵌入向量的模型，这些嵌入向量专门针对将学习转移到其他NLP任务。文章中指出，对于许多NLP任务，可用的训练数据有限。这对数据饥渴的深度学习方法提出了挑战。由于注释有监督的训练数据的成本很高，对于大多数研究或行业NLP任务，通常无法使用非常大的训练集。许多模型通过使用隐式执行有限的迁移学习来解决如word2vec，Glove等，都有不错的效果。作者发现，他们的句子嵌入的迁移学习往往优于单词级迁移。通过句子嵌入的迁移学习，他们观察到，在迁移任务中，在最少