论文阅读：Don’t Miss the Labels: Label-semantic Augmented Meta-Learner for Few-Shot Text Classification

最新推荐文章于 2024-10-12 16:45:12 发布
最新推荐文章于 2024-10-12 16:45:12 发布
阅读量973 收藏 1
点赞数
分类专栏： 论文阅读 文章标签： 少样本文本分类 标签信息
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xxr233/article/details/124128709
版权
该研究提出了一种新的方法，针对小样本文本分类任务，通过将标签信息结合到文本中输入BERT，利用标签的语义信息增强特征向量。在支持集和查询集上采用不同的特征提取策略，并基于prototypical network改进meta-learning，提升分类性能。
摘要由CSDN通过智能技术生成

任务：小样本文本分类

创新点：已有的方法忽视了标签所蕴含的丰富语义在小样本学习中的作用，所以将标签名直接附在文本后输入BERT中，得到语义信息更加丰富的特征向量。support和query在加入标签信息后，其特征提取方法就不一样，因为query是没有标签的。所以，support和query分别采取了三种方法进行特征提取。最后使用prototypical network然后计算查询集和类别向量的欧几里得距离。再综合所有类别计算归属于某一个类别的概率。

introduction

在小样本学习领域，meta-learning作为主流方法，，通过元训练数据集学习从少数support set到分类器的映射函数来解决这个问题。与此同时PLMS在NLP领域大放异彩，通过迁移学习，在低数据资源下也可以表现出色。

不过现有的方法都忽视了标签的语义信息。当训练样本有限时，仅使用每个类的输入文本，会造成类解释的歧义。如图所示，显示了四个不同意图的文本，如果没有给出标签，人类也无法理解这些样本的语义。

 

我们发现，如果将类名附加到输入文本中一起输入到BERT中，可以提高low-shot场景的分类质量。

“Motivated by the above observations, this work explores how to better leverage the semantic information beneath class names for fewshot learning” (Luo 等。, 2021, p. 27

最低0.47元/天 解锁文章
Don’t Miss the Labels: Label-semantic Augmented Meta-Learner for Few-Shot Text Classification
qq_36618444的博客
03-25 651
ACL finding 2021 本文证明了分类标签信息可以用来从一个预训练语言模型(如BERT)中提取输入文本的更有区别的特征表示，并且可以在样本稀缺的情况下实现性能提升。在这一发现的基础上，提出了一个名为标签语义增强元学习者(LaSAML)的框架来充分利用标签语义。我们系统地研究了该框架中的各种因素，并表明它可以插入现有的小样本文本分类系统中。 模型总体框架如图所示： Method 首先，Bert的输入被修改为：“[CLS] sentence [SEP] class name [SEP]”，这已经是
Pytorch入门实战（8）：小样本学习实现图片分类（Few-shot Learning, Meta Learning）
iioSnail的博客
08-21 1万+
本文会使用Omniglot数据集训练一个孪生网络（相似网络），其可以用来判断两个图片的相似程度，通过该方式来实现小样本学习。 本文使用Omniglot的训练集来训练神经网络，使用其验证集来构造Support Set。本文会从验证集的每个类别中拿出5个样本作为Support Set，一共挑选10个类别，即为10-way 5-shot的小样本学习。
ACL2021 Findings | 挖掘label的语义来增强few-shot问题
zenRRan的博客
10-20 1054
每天给你送来NLP技术干货！作者：Gordon Lee （知乎）paper：Don’t Miss the Labels: Label-semantic Augmented Meta-Lea...
论文笔记：Prompt-Based Meta-Learning For Few-shot Text Classification
最新发布
Daisymanman的博客
10-12 1597
Prompt-Based Meta-Learning
论文解读: Few-Shot Text Classification with Induction Network
mp43ily的博客
09-28 1715
目的 在文本分类中，经常碰到一些很少出现过的类别或这样不均衡的类别样本，而且当前的few-shot技术经常会将输入的query和support的样本集合进行sample-wise级别的对比。但是，如果跟同一个类别下的不同表达的样本去对比的时候产生的效果就不太好。 因此，文章的作者就提出了，通过学习sample所属于的类别的表示得到class-wise的向量，然后跟输入的query进行对比，这样能比...
Induction Networks for Few-Shot Text Classification(2020-08-31)
fuchengguo666的博客
08-31 409
Induction Networks for Few-Shot Text Classification 一、关于论文 《Induction Networks for Few-Shot Text Classification》 二、关于学习参考 参考了YouTube上一位博主的视频，学习了Few-shot learning相关知识 https://www.youtube.com/watch?v=UkQ2FVpDxHg 参考了本文作者自己在paperweeklyCSDN上发表的本文综述。 https://bl
元学习 & Meta Learning & Few-Shot Learning 二 || 孪生网络 (Siamese Network)
qq1803291168
04-23 2766
元学习 & Meta Learning & Few-Shot Learning 二 || 孪生网络 (Siamese Network)
《Query2Label: A Simple Transformer Way to Multi-Label Classification》
weixin_43994864的博客
03-04 1906
论文链接：https://arxiv.53yu.com/pdf/2107.10834.pdf?ref=https://githubhelp.com 代码链接：https://github.com/SlongLiu/query2labels 1. 动机 多标签分类需要特别关注两个问题：1)如何处理标签不平衡问题，2)如何从感兴趣区域提取特征。为了解决第一个问题，很多研究者设计了各种损失函数；而相对于第一个问题相比，第二个问题的解决方案相对不成熟，需要特殊设计的网络架构或额外依赖于标签相关性。 2. 方法 .
《Few-Shot Learning with Graph Neural Networks》——少样本学习与图神经网络
StreamRock的专栏
11-22 7415
目录一、简介二、【2】实现过程分析2.1 数据的准备2.2 GNN 网络2.2.1 特征提取网络2.2.2 顶点表达2.2.3 Adjacency 层2.2.4 Loss的解析2.3 数据验证所说明的问题三、GNN 的认识四、小结索引欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表...
小样本学习论文--Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
周永行的博客
04-23 1万+
文章目录一、前言二、论文解读1、概述2 、主要内容2.1 问题设定2.2 与模型无关的元学习算法三、代码解析1、抽取数据2、Task3、训练过程 一、前言   学过深度学习的同学都应该知道，深度学习算法的精度是要靠数据的量来保证的，我们人类可以在看到若干次狗的样子后，就学会如果分辨狗，但是深度学习的算法可能要看上很多次。在很多领域中，数据的获取的非常昂贵的。如果让机器能够像人类...
Few-Shot Learning && Meta Learning：小样本学习原理和Siamese网络结构(一)
认真努力，做一只会飞的毛毛虫。
07-06 2653
Meta Learning：名字起的故弄玄虚，其实意思就是让网络学会如何去学习，即learn to learn。Few-Shot Learning：Meta Learning的一种，二者也可以看作是一回事。和传统通过大量数据集训练神经网络这类监督学习不同，并不是让机器准确识别测试集的图像，其目标是让神经网络学会学习。即通过大量数据去训练神经网络的目的并不是让网络学习狼、大象等动物的特征，进而准确分类没见过的动物图像。而是让神经网络理解事物的异同，学会区分不同的事物，即当网络训练完成后，任意给两张网络没见过的
文本分类优化方法
狮子座明仔知识集散场
12-19 2483
文本分类是NLP的基础工作之一，也是文本机器学习中最常见的监督学习任务之一，情感分类，新闻分类，相似度判断、问答匹配、意图识别、推断等等领域都使用到了文本分类的相关知识或技术。文本分类技术在机器学习的发展过程中也不断的进行技术迭代，在开始介绍文本分类优化方法之前，我们先介绍文本分类的技术发展，有助于我们了解文本分类的技术痛点以及文本分类的技术方向。
Few-shot Learning (少样本学习) == Meta-Learning (元学习)
天狼啸月1990的博客
03-29 1747
1. 背景 Artificial Intelligence --> Machine Learning --> Deep Learning --> Deep Reinforcement Learning --> Deep Meta Learning 在Machine Learning时代，复杂一点的分类问题效果就不好了，Deep Learning深度学习的出现基本上解决了一对一映射的问题，比如说图像分类，一个输入对一个输出，因此出现了AlexNet这样的里程碑式的成果。但如果输出对
spspsp
Bluebro的博客
04-11 3443
一方面因为通过少量样本去识别新类别很难，就想使用一些其他模态的信息辅助学习，文本特征可能包含新类和已知类之间的语义关系，所以是一个很好的选择。另一方面因为最近一些出现的强大的自然语言处理（NLP）模型能够从类别中提取出丰富且准确的文本信息。因为这些方法直接使用文本嵌入作为图像的分类器，比如 直接 从类名推断出文本原型然后与视觉分类器相结合，这忽略了文本特征和视觉特征之间的，因此文本特征无法与视觉特征很好地交互，从而无法给新类别提供 具有判别性的视觉特征。
【NLP】ACL-2019 录用论文
热门推荐
zkq_1986的博客
09-04 2万+
LONG PAPERS (MAIN CONFERENCE) SphereRE: Distinguishing Lexical Relations with Hyperspherical Relation EmbeddingsChengyu Wang, XIAOFENG HE and Aoying Zhou Learning from Dialogue after Deployment: Fee...
ACL 2022 主会长文论文分类整理
一颗小甜心的博客
04-22 2294
导读 ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。官方发布的接收论文列表： Accepted Papers (https://www.2022.aclweb.org/papers) 目录 Adversarial attack and Robustness【对抗攻击和鲁棒性】 Dialogu.
bert中的cls和sep等等
weixin_43977748的博客
06-20 1万+
一般我们就用训练集出一个模型，然后可以在其他的代码里读取这个模型来使用。其他的代码就是所谓的下游任务（比如·什么分类、NER什么的）。BERT只是出一个词向量，这个向量不接任务你也看不出什么东西。这种分开训的就叫pipline，如果bert和下游任务一起训就叫end-to-end BERT 的输入可以包含一个句子对 (句子 A 和句子 B)，也可以是单个句子。此外还增加了一些有特殊作用的标志位：转载 [CLS] 标志放在第一个句子的首位，经过 BERT 得到的的表征向量 C 可以用于后续的分类任务。 [SE
Terraform-null-label：实现一致命名约定的模块介绍
资源摘要信息:"Terraform-null-label 是一个灵活的 Terraform 模块，它允许开发者通过预定义的命名空间、环境、阶段、名称和属性等元素来创建统一的命名规范。这种模块特别适用于大型组织或项目，需要在云基础设施中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>