任务:小样本文本分类
创新点:已有的方法忽视了标签所蕴含的丰富语义在小样本学习中的作用,所以将标签名直接附在文本后输入BERT中,得到语义信息更加丰富的特征向量。support和query在加入标签信息后,其特征提取方法就不一样,因为query是没有标签的。所以,support和query分别采取了三种方法进行特征提取。最后使用prototypical network然后计算查询集和类别向量的欧几里得距离。再综合所有类别计算归属于某一个类别的概率。
introduction
在小样本学习领域,meta-learning作为主流方法,,通过元训练数据集学习从少数support set到分类器的映射函数来解决这个问题。与此同时PLMS在NLP领域大放异彩,通过迁移学习,在低数据资源下也可以表现出色。
不过现有的方法都忽视了标签的语义信息。当训练样本有限时,仅使用每个类的输入文本,会造成类解释的歧义。如图所示,显示了四个不同意图的文本,如果没有给出标签,人类也无法理解这些样本的语义。
我们发现,如果将类名附加到输入文本中一起输入到BERT中,可以提高low-shot场景的分类质量。
“Motivated by the above observations, this work explores how to better leverage the semantic information beneath class names for fewshot learning” (Luo 等。, 2021, p. 27