Don’t Miss the Labels: Label-semantic Augmented Meta-Learner for Few-Shot Text Classification

最新推荐文章于 2024-10-10 23:18:01 发布
最新推荐文章于 2024-10-10 23:18:01 发布
阅读量628 收藏 2
点赞数
分类专栏： 低资源本文分类 文章标签： 机器学习 算法 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36618444/article/details/123727113
版权
LaSAML是一种新的框架，它利用标签语义信息改进预训练模型（如BERT）的特征表示，尤其在样本稀缺的文本分类任务中表现出色。该框架通过修改BERT的输入，结合标签语义，学习一个元学习者以提高分类性能。实验结果显示，LaSAML可以与其他元学习方法有效结合，并能引导模型更专注于重要的特征。
摘要由CSDN通过智能技术生成

ACL finding 2021
在这里插入图片描述
本文证明了分类标签信息可以用来从一个预训练语言模型(如BERT)中提取输入文本的更有区别的特征表示，并且可以在样本稀缺的情况下实现性能提升。在这一发现的基础上，提出了一个名为标签语义增强元学习者(LaSAML)的框架来充分利用标签语义。我们系统地研究了该框架中的各种因素，并表明它可以插入现有的小样本文本分类系统中。
模型总体框架如图所示：
在这里插入图片描述

Method

首先，Bert的输入被修改为：“[CLS] sentence [SEP] class name [SEP]”，这已经是NLP中的常见操作了。预测标签对应的class name被转化为Bert特有的预测下一句话的操作。标签的名称所带来的效果已经在许多任务中被探究过，尤其是在低资源的前提下。
形式上来说，在小样本的任务中，目标是学习一个支持集上的meta-learner，得到一个拟合支持集样本

了解本专栏 订阅专栏 解锁全文 超级会员免费看
五月的echo
关注
专栏目录
订阅专栏
[FSCE]FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding(CVPR. 2021)
Ah丶Weii
08-25 2254
1. Motivation 本文是基于fine-tuning based方法 In this work, we observe and address the essential weakness of the fine- tuning based approach – constantly mislabeling novel in- stances as confusable categories, and improve the few-shot detection performance to t.
元学习（Meta Learning）最全论文、视频、书籍资源整理
lqfarmer的博客
02-12 420
元学习是人工智能领域，继深度学习是人工智能领域，继深度学习 -> 深度强化学习、生成对抗之后，又一个重要的研究分支，也是是近期的研究热点，加州伯克利大学在这方面做了大量工作。Zero-Shot / One-Shot / Few-Shot 学习。经典文章、代码、书籍、博客、视频教程、数据集等其他资源。本文详细整理了元学习相关的。，提供给需要的朋友。
论文阅读：Don’t Miss the Labels: Label-semantic Augmented Meta-Learner for Few-Shot Text Classification
xxr233的博客
04-12 941
任务：小样本文本分类 创新点：已有的方法忽视了标签所蕴含的丰富语义在小样本学习中的作用，所以将标签名直接附在文本后输入BERT中，得到语义信息更加丰富的特征向量。support和query在加入标签信息后，其特征提取方法就不一样，因为query是没有标签的。所以，support和query分别采取了三种方法进行特征提取。最后使用prototypical network然后计算查询集和类别向量的欧几里得距离。再综合所有类别计算归属于某一个类别的概率。 introduction 在小样本学习领域，me
ACL2021 Findings | 挖掘label的语义来增强few-shot问题
zenRRan的博客
10-20 1024
每天给你送来NLP技术干货！作者：Gordon Lee （知乎）paper：Don’t Miss the Labels: Label-semantic Augmented Meta-Lea...
Few-shot Learning (少样本学习) == Meta-Learning (元学习)
天狼啸月1990的博客
03-29 1663
1. 背景 Artificial Intelligence --> Machine Learning --> Deep Learning --> Deep Reinforcement Learning --> Deep Meta Learning 在Machine Learning时代，复杂一点的分类问题效果就不好了，Deep Learning深度学习的出现基本上解决了一对一映射的问题，比如说图像分类，一个输入对一个输出，因此出现了AlexNet这样的里程碑式的成果。但如果输出对
【NLP】ACL-2019 录用论文
热门推荐
zkq_1986的博客
09-04 2万+
LONG PAPERS (MAIN CONFERENCE) SphereRE: Distinguishing Lexical Relations with Hyperspherical Relation EmbeddingsChengyu Wang, XIAOFENG HE and Aoying Zhou Learning from Dialogue after Deployment: Fee...
【多标签文本分类】Large Scale Multi-label Text Classification with Semantic Word Vectors
十一月廿七风雨大作
02-04 846
·阅读摘要：   本文提出了利用词向量+CNN/词向量+GRU来解决大规模数据下的多标签文本分类问题。   [1] Large Scale Multi-label Text Classification with Semantic Word Vectors [0] 摘要   已有的多标签文本分类算法不考虑词序，选择使用词袋模型或TFIDF加权来创建文档向量。   论文提出使用词嵌入和词序来提高多标签学习能力。使用卷积神经网络(CNN)和带有门控循环单元(GRU)的循环网络独立地用于预训练的word2v.
yolov5报错：Label class 15 exceeds nc=1 in data/pic.yaml. Possible class labels are 0-0]
weixin_45156373的博客
06-03 5073
在进行yolov5模型训练过程中出现了上述报错 参考各大博客，大家好像都没写到根本上 本人原因：由于labelimg的data目录下的 predefined_classes.txt 文件中自带有许多分类，当使用labelimg画图时创建的新类的标号会在原来的类之下。原类如下 ，在使用之前最好清空这个txt文件夹的内容 再次使用labelimg时添加标记便不再有其自带的对象，生成的labels下的.txt文件就从零开始 把这里修改完成之后就可以拖到程序里进行训练了，至此错误解决。 参考：stack ov
KubeSphere+DevOps部署遇到的坑 User “system:serviceaccount:kubesphere-devops-worker:default“ cannot get res
hcw52592的博客
01-24 7254
环境说明： kubernetes v1.21.5 kubesphere v3.2.1 KubeSphere+DevOps构建和部署 Maven 项目流程（官方推荐）： 构建和部署 Maven 项目 下面记录一下本人遇到的问题： 如图，主要问题是出现在流水线第五步：将镜像自动部署到k8s集群 报错如上图： + envsubst + kubectl apply -f - Error from server (Forbidden): error when retrieving curre.
论文阅读问题总结(六)：Meta-Learning with Domain Adaption for Few-shot Learning Under Domain Shift
qq_32599109的博客
03-23 647
1.这篇paper作者提出要解决的问题？ 作者提出，大部分现存的小样本元学习领域的一些工作都基于两个假设： training task和testing task都是从满足同一task distribution中采样出来的小样本数据集。 training tasks有足够的数据集提供给模型训练。 然而在真实的应用场景中，我们要解决的目标任务所在的领域并没有大量数据集用来构建training tasks(与testing task满足同一task distribution)。 2.传统的深度学习的domain
TY1801 内置GaN电源芯片（18w-65w)
最新发布
QQ_2169636881的博客
10-10 589
TY1801 是一款内置氮化镓18W-65W开关电源芯片，用于离线交流/直流转换应用，包括手机充电器和适配器等。TY1801A 18W；TY1801B 20W；TY1801C 25W；TY1801D 30W；TY1801DH 30W；TY1801E 35W；TY1801F 40W；TY1801G 45W；TY1801H 65W；
机器学习-树模型算法
weixin_47102187的博客
10-04 346
仅个人笔记使用，感谢点赞关注，希望可以帮到你！
基于模型的强化学习方法4大类灌水范式
小小何先生的学习之旅
10-10 360
我们都知道基于模型的强化学习，就是从数据中学一个环境模型。举个例子，我们要控制一个马达，输入就是电流，输出就是转速。无模型强化学习就是随机采样，然后从数据中直接学习输入到输出的影射，研究重心在如何高效学习。基于模型的强化学习，希望从输入输出中学习一个马达的状态转移模型，然后智能体和这个模型交互。这里面有什么问题呢？问题就在于，这个模型一定会有误差。即使用数据去学习一个二次函数，也会有误差。如上图所示。
绘制YOLOv11模型在训练过程中，精准率，召回率，mAP_0.5，mAP_0.5:0.95，以及各种损失的变化曲线
qq_42591591的博客
10-10 625
文件是模型在训练过程中，实时记录训练的结果，和当时控制台输出的信息一致。当然还包含一些验证损失，学习率变化等数据。epoch：记录训练的轮次，总轮次为训练文件中设置的epochs大小。：边界框损失。在训练过程中，此值逐渐变小，越小表示模型预测的边界框与真实边界框之间的差异越小。：分类损失。在训练过程中，此值逐渐变小，越小表示模型对目标类别的预测越准确。：分布焦点损失。将边界框的回归问题转化为对边界框四个边的分布预测问题，越小表示预测越准确。：精确率也称为查准率。
机器学习中的 K-均值聚类算法及其优缺点
矿枝
10-03 347
总结： K-均值聚类算法是一种简单、直观且高效的聚类算法，适用于大规模数据集。然而，算法需要预先指定聚类数量K，并且对初始聚类中心和异常值较为敏感。在实际应用中，需要根据具体情况综合考虑算法的优缺点并进行调整。K-均值聚类算法是一种常用的无监督学习算法，主要用于将数据集划分成K个不同的簇。
AI学习指南深度学习篇-生成对抗网络（GAN）简介
俞兆鹏的博客
10-08 1889
在人工智能领域，深度学习的进步使得计算机可以生成图像、音频和文本等多种形式的数据。其中，生成对抗网络（GAN）作为一种强大的生成模型，向我们展示了计算机如何“创造”。本篇文章将系统地介绍生成对抗网络的背景、基本原理以及它在深度学习中的重要性，重点讨论在图像生成、风格迁移等领域的实际应用。
机器学习框架
hong161688的博客
10-07 1604
机器学习框架是用于开发和部署机器学习模型的软件工具，它们提供了一组API和工具，帮助开发人员在各种计算设备上构建、训练和部署机器学习模型。以下是关于机器学习框架的详细介绍，包括多个主流框架的特点、应用场景等。
生成对抗网络GAN——学习笔记
qq_42261630的博客
10-10 240
在损失函数这里有一个重要概念：交叉熵。
Learning a Deep ConvNet for Multi-label Classification with Partial Labels代码浮现
06-01
好的，以下是使用PyTorch实现 "Learning a Deep ConvNet for Multi-label Classification with Partial Labels" 论文的示例代码。 ```python import torch import torch.nn as nn import torch.optim as optim from...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五月的echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值