论文阅读:Don’t Miss the Labels: Label-semantic Augmented Meta-Learner for Few-Shot Text Classification

该研究提出了一种新的方法,针对小样本文本分类任务,通过将标签信息结合到文本中输入BERT,利用标签的语义信息增强特征向量。在支持集和查询集上采用不同的特征提取策略,并基于prototypical network改进meta-learning,提升分类性能。
摘要由CSDN通过智能技术生成

任务:小样本文本分类

创新点:已有的方法忽视了标签所蕴含的丰富语义在小样本学习中的作用,所以将标签名直接附在文本后输入BERT中,得到语义信息更加丰富的特征向量。support和query在加入标签信息后,其特征提取方法就不一样,因为query是没有标签的。所以,support和query分别采取了三种方法进行特征提取。最后使用prototypical network然后计算查询集和类别向量的欧几里得距离。再综合所有类别计算归属于某一个类别的概率。

introduction

在小样本学习领域,meta-learning作为主流方法,,通过元训练数据集学习从少数support set到分类器的映射函数来解决这个问题。与此同时PLMS在NLP领域大放异彩,通过迁移学习,在低数据资源下也可以表现出色。

不过现有的方法都忽视了标签的语义信息。当训练样本有限时,仅使用每个类的输入文本,会造成类解释的歧义。如图所示,显示了四个不同意图的文本,如果没有给出标签,人类也无法理解这些样本的语义。

 

我们发现,如果将类名附加到输入文本中一起输入到BERT中,可以提高low-shot场景的分类质量。

“Motivated by the above observations, this work explores how to better leverage the semantic information beneath class names for fewshot learning” (Luo 等。, 2021, p. 27

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值