提示学习
文章平均质量分 81
提示学习(Transfer Learning)是一种机器学习方法,通过将在一个任务上学到的知识应用到另一个相关任务上,以提高模型性能和加速训练过程。在文本分类任务中,提示学习可以是一种有效的策略。
征途黯然.
Hold me hard and mellow.
展开
-
【提示学习】Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
(相互学习)M02和M03标注了一部分D,再加上T,得到T11,T11用来在(b)中训练M11(b)如上所述,基于新的被扩充的数据集,再训练模型;基于此,论文引入了PET,先用无监督给数据答标签,再用有监督学习最终分类模型,这是一种半监督的训练过程,将输入转化为完形填空任务的形式。7-12行显示:增加训练集大小,PET和iPET的性能增益变小,但对于50和100个示例,PET还是明显优于标准监督训练(行8 vs行7,行11 vs行10),iPET(行9,行12)也优于PET。原创 2023-04-21 18:28:17 · 3021 阅读 · 0 评论 -
【提示学习】Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification
假设有3个标签,词汇表有2000,那么Z的形状为3*2000,然后遍历词汇表[0-1999],每个词我们去比较它在3个标签上的概率,取最大的然后放入这个标签对应的。是在整个词汇表上的向量,表示对词汇表上的每个词的平均概率。中选取概率z^v_i最大的top-k个令牌,得到截断的词集。标记的标记概率,并将这n个样本的预测概率的平均值取为。遍历所有的标签,每个标签都有一个。是模型的词汇表,我们从每个标签的。,初始化一个空的候选令牌集。赋给第m类的最可能令牌集。,迭代所有的训练样本。原创 2023-05-07 13:25:29 · 2939 阅读 · 1 评论 -
重写transformers.Trainer的compute_metrics方法计算评价指标时,形参如何包含自定义的数据
使用transformers.Trainer就图个快和优雅,它包装了一整套的训练逻辑,让我们不用从数据加载、模型训练、评估、预测、保存模型、计算评价指标等等一整套写完。方法中,我们就可以使用自定义的列的数据了。但是显然,模型和任务一复杂的时候,loss的计算、评价指标的实现,我们还是需要重写的。Prompt最近这么火,一个方向的朋友一定会出现和我一样的问题,看到这篇帖子麻烦评论个1,哈哈哈哈。存的就不知原始标签了,现在存的是元组,就是你指定的。方法时,不会删除我们自定义的列。1、在构建输入的时候,除了。原创 2023-06-11 00:18:20 · 7068 阅读 · 6 评论 -
【提示学习】GPT Understands, Too
虽然GPT在传统的预训练微调方面并没有在自然语言理解任务上达到最好的效果, 但是当使用我们提出的P-tuning方法时,便可以与相媲美。P-tuning是一种新的微调方法,其使用可训练的连续空间内的prompt embeddings。在knowledge probing和superGLUE benchmark上得以提升。最重要的是,我们发现P-tuning也可以让BERT在小样本和监督学习上得以提升。且P-tuning可以在superGLUE的小样本任务上达到SOTA。转载 2023-04-11 10:50:54 · 2879 阅读 · 1 评论 -
【提示学习】Label prompt for multi-label text classification
生成式网络、学习标签表示、建模标签关联的问题所在:当标签文本之间没有太大差异或缺少标签文本时,这些模型可能会在分类上失败。LP-MTC设计了多标签文本分类模板,将标签整合到预训练语言模型的输入中,可以捕获标签之间的相关性以及标签与文本之间的语义信息,从而有效地提高模型的性能。LP-MTC利用语言模型学习到的提示模板中的语义信息,学习标签与文本之间的关系;标签文本分类的关键问题之一是提取和利用标签之间的相关性,但直接建模标签之间的相关性很难。介绍了多标签文本分类、提示学习。写的比较中规中矩,没有特殊的地方。原创 2023-05-06 18:35:45 · 3552 阅读 · 0 评论 -
【提示学习】HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification
早期的全局方法忽略了标签的层次结构,并将问题视为扁平的多标签分类。如图2中绿色部分所示,不预测一个槽中的所有标签,而是根据标签的层将标签分成不同的组,并约束。损失函数的目标是最大化目标标签的得分与非目标标签的得分之间的差距。为了解决这个问题,引入了一个常数得分为0的锚定标签,并希望目标标签和非目标标签的得分都大于和小于0。会对输入随机mask掉15%后计算的损失,它和我们计算分类的损失可以认为是独立的,互不干扰;任务是多类别分类,单标签分类,使用的是交叉熵损失,并不适用我们的层级多标签分类。原创 2023-05-28 22:10:22 · 3544 阅读 · 0 评论 -
【提示学习】Prompt Tuning for Multi-Label Text Classification: How to Link Exercises to Knowledge Concept
取指定阈值以上的标签,然后算损失。普通MLM任务使用的损失函数是。个人觉得这样不可取,效果也不会好。如上图,思路很朴实无华。,它适用于多标签分类。位置预测到的词表的值进行。原创 2023-05-06 20:54:18 · 2893 阅读 · 0 评论 -
【提示学习】Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classific
文章思路是数据增强+去噪,不过数据增强在于verbalizer对于label space至expanding word space的映射,引入外部的扩展标签词集,辅助分类,去噪并不新颖,就是在细化两个场景,zeroshot滤掉扩展标签词集的低频词,并上下文校验。文章主打的是,以前的工作中,增强的都是类标签的同义词,而作者自己增强的是多粒度的、多方面的。:KBs中的标签词没经过训练,会存在一个标签词对多个类别都有很大贡献的情况,文章设计了一种相关性计算方法,会在标签词集合里面删除相关性小于1的词。原创 2023-04-15 22:24:25 · 3348 阅读 · 0 评论 -
【提示学习】AUTOPROMPT: Eliciting Knowledge from Language Models with Automatically Generated Prompts
然而,现有的提示方法需要手动构建上下文,这一过程耗时且容易出错,且模型对上下文的敏感性较高。通过将语言模型对提示的预测结果与相关标签词的类别概率相结合,可以将语言模型作为分类器进行评估。实验结果表明,在提供真实事实的上下文句子的情况下,构建了针对情感分析和自然语言推理的提示,无需微调,仅仅使用预训练的掩码语言模型。的方式,将任务转化为语言模型的形式,可以更直接地获取模型所具备的知识。无需额外的参数或微调,有时甚至能够与最新的监督模型取得相当的性能。的自动化方法,用于为多样的任务创建适当的提示模板。原创 2023-05-29 22:07:38 · 4311 阅读 · 0 评论