Revisiting Self-Training for Few-Shot Learning of Language Model，EMNLP2021

最新推荐文章于 2024-10-10 23:18:01 发布
最新推荐文章于 2024-10-10 23:18:01 发布
阅读量496 收藏 2
点赞数
分类专栏： 低资源本文分类 文章标签： 语言模型 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36618444/article/details/123205780
版权
本文提出SFLM，一个基于自监督的少样本语言模型学习框架。通过提示学习和自训练损失，SFLM在无标签数据上生成伪标签并进行微调。实验显示，该方法在文本分类和文本对匹配任务上表现优秀，且适用于跨数据集的零样本学习。
摘要由CSDN通过智能技术生成

在这里插入图片描述

Method

本文提出了一个基于自监督语言模型的少样本文本学习框架SFLM。给定文本样本，通过屏蔽语言模型的提示学习方法，为同一个样本生成弱增强和强增强两个视图，SFLM在弱增强版本上生成一个伪标签。然后，当与强增广版本进行微调时，模型预测相同的伪标签。
整体的模型如下：
在这里插入图片描述
首先，给定一个有标签数据集 X \mathcal{X}

了解本专栏 订阅专栏 解锁全文 超级会员免费看
五月的echo
关注
专栏目录
订阅专栏
Continual Training of Language Models for Few-Shot Learning
c_cpp_csharp的专栏
06-14 48
最近关于应用大型语言模型（LM）的工作在许多NLP应用程序中取得了令人印象深刻的性能。使用未标记的领域语料库调整或后训练LM可以为该领域中的最终任务产生更好的性能。本文提出了通过用一系列未标记的领域语料库对LM进行增量后训练来不断扩展LM的问题，以在不忘记其先前技能的情况下扩展其知识。目标是改进这些领域中的小样本末端任务学习。由此产生的系统被称为CPT（持续后训练），据我们所知，这是第一个持续后训练系统。实验结果验证了其有效性。
Revisiting Self-Training for Few-Shot Learning of Language Model
没有期待的日子反而会顺顺利利
04-25 268
prompt-based few- shot learner, SFLM，通过弱增强和强增强技术给出文本样本的两个视图，SFLM会在弱增强版上生成一个伪标签后，在强增强版进行了微调的时候模型预测相同的伪标签。 未标记的数据也包含丰富的下游任务信息，比标记的数据更容易获得，在本文中，主要研究了在少量有标记和无标记数据的情况下，语言模型的few-shot learning，半监督学习得益于部分标记的数...
“我”变小了但更强了！英伟达发布最新大语言模型压缩技术，无损性能且提升数倍！
soaring_casia的专栏
09-10 1036
英伟达研究团队提出了一份全面报告，详细介绍了如何使用剪枝和蒸馏技术将Llama 3.1 8B和Mistral NeMo 12B模型分别压缩至4B和8B参数。他们探索了两种不同的剪枝策略：深度剪枝和联合隐藏/注意力/MLP（宽度）剪枝。研究人员使用LM Evaluation Harness中的常用基准测试对压缩结果进行了评估。这些模型通过NeMo Aligner进行对齐，并在指令调优版本中进行了测试。
介绍几篇EMNLP'22的语言模型训练方法优化工作
zenRRan的博客
12-19 494
每天给你送来NLP技术干货！来自：圆圆的算法笔记点击这里进群—>加入NLP交流群今天给大家介绍3篇EMNLP 2022中语言模型训练方法优化的工作，这3篇工作分别是：针对检索优化语言模型：优化语言模型训练过程，使能够生成更合适的句子表示用于检索——RetroMAE: Pre-training Retrieval-oriented Transformers via Masked Auto-En...
EMNLP2021小样本论文合集
AI_Conf的博客
11-11 499
EMNLP是由国际计算语言学协会下属特殊兴趣小组SIGDAT发起并组织的系列会议,是自然语言处理领域顶级的国际学术会议之一。EMNLP 2021 将于 11 月 7 日 - 11 日进行，一共接收了656篇长文、191篇短文，Findings接收了305篇长文、119篇短文。 AMiner通过AI技术，对EMNLP2021收录的会议论文进行了分类整理，欢迎下载收藏！ AMiner-EMNLP2021：https://www.aminer.cn/conf/emnlp2021/papers 1.论文名称：STr
SimpleShot: Revisiting Nearest-Neighbor Classification for Few-Shot Learning 论文笔记
qq_30146937的博客
04-13 1555
前言 目前大多数小样本学习器首先使用一个卷积网络提取图像特征，然后将元学习方法与最近邻分类器结合起来，以进行图像识别。本文探讨了这样一种可能性，即在不使用元学习方法，而仅使用最近邻分类器的情况下，能否很好地处理小样本学习问题。 本文发现，对图像特征进行简单的特征转换，然后再进行最近邻分类，也可以产生很好的小样本学习结果。比如，使用DenseNet特征的最近邻分类器，在结合均值相减（mean sub...
少样本学习2：Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning
motoight的博客
08-25 833
前言 发表信息：2019CVPR 文章链接：https://arxiv.org/abs/1903.12290 代码链接：https://github.com/WenbinLee/DN4 鉴于已有相关博文对这篇文章进行分析：https://blog.csdn.net/qq_36104364/article/details/106479996 我补充一些自己的阅读感受。 一、核心思想 作者开门见山指出自己收到NBNN（Naive Bayes Nearest Neighbors)的启发，通过将传统metric-b
《Revisiting Self-Supervised Monocular Depth Estimation》论文笔记
m_buddy的博客
04-14 2819
参考代码：None 1. 概述 介绍：回顾前几年的一些自监督型深度估计算法，它们都是从不同的角度对自监督深度估计方法进行改进。总结这些算法中对自监督深度估计的改进idea，发现这些算法有的是为了解决场景光照变化对深度估计稳定性的影响；有的是对相机运动下场景中物体遮挡运动进行建模，从而减少对于前期假设先验的违背的影响。而这些改进的idea它们的来源是不同的文章，那么它们组合起来是否能达到比原方法更好的效果呢？或者更进一步怎么将这些idea进行有机组合才能得到最优的优化效果？这篇文章算是对这些问题的初步探究，
少样本学习1：Revisiting Deep Local Descriptor for Improved Few-Shot Classification
motoight的博客
08-24 471
前言 通常解决小样本学习任务有两种主要的思路： 迁移学习：最简单的方法是利用预训练好的特征提取器，使用少量的有标签样本对novel class重新训练一个分类器。 元学习：基本思想是在base class 中构造小样本学习的任务来达到一个能够对小样本任务快速适应的模型。隐含的假设是构造的任务和实际测试的任务应该是同分布的（什么叫做the same distribution task 目前还没有明确的定义，有人说是形式一样，比如都是5-way-5-shot，这就叫做同分布）。一般会将数据集分成meta-tr
从 200 多篇顶会论文看预训练语言模型研究进展
zenRRan的博客
11-29 1163
每天给你送来NLP技术干货！作者｜王晓磊机构｜中国人民大学高瓴人工智能学院博士一年级导师｜赵鑫教授方向 | 对话系统和预训练模型来自 |RUC AIBox近年来，以 BERT...
预训练语言模型fine-tuning近期进展概述
zenRRan的博客
04-08 1441
近年来，迁移学习改变了自然语言处理领域的范式，对预训练语言模型（PLM）进行微调（fine-tuning）已经成为了新的范式。本文主要梳理了近期的预训练语言模型做fine-tuning的进...
LIST: LITE SELF-TRAINING MAKES EFFICIENT FEW-SHOT LEARNERS
没有期待的日子反而会顺顺利利
04-12 3101
LiST，用于在few-shot learning下对大型预训练语言模型(PLM)进行有效微调。第一种是使用self-training，利用大量unlabeled data进行prompt-tuning，以在few-shot设置下显著提高模型性能。我们将自我训练与元学习结合起来，重新加权有噪声的pseudo-prompt labels，但是传统的自监督训练更新权重参数非常昂贵。因此，使用第二种轻量...
SALNet: Semi-Supervised Few-Shot Text Classification with Attention-based Lexicon Construction
qq_36618444的博客
02-23 1330
AAAI2021. 本文考虑了低资源文本分类情境下对class对应的关键词进行扩充的问题，每个类收集一组被称为lexicon的词集，根据分类任务计算的注意力权重，并根据注意力系数对关键词进行再分配（注意力的可视化如图1所示）。之后，利用分类器与所构建的lexicon的组合来标记新的数据来引导分类器，以提高预测的准确性。 Methods 与其他的弱（半）监督方法一样，本文提出的方法依旧是迭代的过程，大致可以分为如下几步： 从给定的标签数据创建一个基本分类器，这里训练分类器的样本是非常少的。分类器必须包含.
LiST: Lite Prompted Self-training Makes Parameter-efficient Few-shot Learners
Hekena的博客
07-22 229
第2个是对于无标注数据在使用过程中可能会出现为标签问题的解决方式上，在第2个方向会面临着伪标签的问题对于伪标签问题他也采用了一个权重的方式，对于不同的伪标签数据根据它的重要性的程度设置了不同的权值。这篇文章在介绍的时候是说他们的模型参数量比较少然后也取得了比较好的效果,但其实这篇文章它的应用的模型并不少包括的知识点,有知识蒸馏还有就是promotelearning的一些相关知识.第3个方向是这篇文章探索了adapter它放置在整个的transformer中的不同的位置会带来的不同的效果的影响。...
NAACL2021丨Knowledge Guided Metric Learning for Few-Shot Text Classification
u011150266的博客
05-25 447
作者：凯 单位：燕山大学 论文链接：https://www.aclweb.org/anthology/2021.naacl-main.261/ Knowledge Guided Metric Learning for Few-Shot Text ClassificationAbstractIntroductionContributions：MethodologyExperiment result Abstract 人类可以在很少的例子中非常有效地区分新类别，主要是由于人类可以利用从相关任务获得的知识。..
论文阅读笔记 [NIPS2019] Learning to Self-Train for Semi-Supervised Few-Shot Classification
jieming2002的博客
09-25 4162
学习自我训练的半监督小样本分类 Li-nips2019-LST-Learning to Self-Train for Semi-Supervised Few-Shot Classification 摘要 作者提出了一种新颖的半监督元学习方法：学习自我训练（简称 LST）。这种方法利用无标签数据，特别是学习如何择优挑选和标记这些无标签数据，以进一步提高性能。对于每个小样本任务，训练一个小样本模型来预测无标签数据的伪标签，然后对有标签和伪标签数据的自训练步骤进行迭代，每一步都进行调优。还学习了一个软权重网络（简
TY1801 内置GaN电源芯片（18w-65w)
最新发布
QQ_2169636881的博客
10-10 777
TY1801 是一款内置氮化镓18W-65W开关电源芯片，用于离线交流/直流转换应用，包括手机充电器和适配器等。TY1801A 18W；TY1801B 20W；TY1801C 25W；TY1801D 30W；TY1801DH 30W；TY1801E 35W；TY1801F 40W；TY1801G 45W；TY1801H 65W；
机器学习中的熵（Entropy）是什么？
libertea的专栏
10-10 1075
熵作为信息论中的核心概念，衡量了系统的不确定性。通过从自信息量推导出的熵公式，我们能够量化一个系统中信息的平均量。在机器学习中，熵广泛用于决策树构造和其他分类任务中，以帮助衡量数据集的纯度或不确定性。
Twins-PCPVT训练自己的数据集
07-27
- *1* [Twins: Revisiting the Design of Spatial Attention in Vision Transformers](https://blog.csdn.net/qq_52302919/article/details/128004156)[target="_blank" data-report-click={"spm":"1018.2226.3001....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五月的echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值