Making Pre-trained Language Models Better Few-Shot Learners

已于 2022-11-01 16:06:24 修改
阅读量394 收藏 2
点赞数 1
分类专栏： # Prompt 文章标签： prompt prompt生成 generation NLP 自然语言处理
于 2022-08-10 15:10:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38901850/article/details/126260394
版权

目录

Abstract

Introduction

Methods

label words

Prompt template

Demonstrations

Experiments

Abstract

使用自然语言prompt和task demonstrations作为额外信息插入到输入文本中很好的利用了GPT-3模型中的知识。于是，本文提出少样本在小模型下的应用。我们的方法包括了基于prompt的微调，同时使用了自动生成的prompt；针对任务demonstration，我们还重新定义了一种动态和有选择地方法将其融入到上下文中。

Introduction

虽然GPT-3只使用提示和任务示例就可以在无需更新权重地情况下表现得很好，但是GPT-3模型很大，无法应用于现实中的场景进行微调。所以本文提出了在BERT等小模型上，仅使用少量的样本去对模型进行微调。作者从GPT-3中得到灵感，使用prompt和in-context同时对输入和输出进行优化，他们使用了暴力搜索去获得一些性能较好的回答词，并且使用T5去生成了提示模板，他们说这种方法很cheap？使用T5单独生成一个模板还cheap？由于输入长度的限制，他们对每个类找出一个好的demonstration。

Methods

label words

Gao et al. (2021)使用了未进行微调的预训练模型，得到最优的K个候选词，将其作为剪枝后的回答词空间。然后他们在此空间上进一步对模型在训练集上进行微调进行搜索得到n个较好的回答词。最后再根据验证集的结果得到一个最优的回答词。

Prompt template

Gao et al. (2021)把prompt模板生成的问题视为一个文本生成的任务，使用T5(Raffel et al, 2020)作为生成器模型。他们将原始输入和输出拼接起来作为T5(Raffel et al, 2020)模型的输入，然后他们使用了束搜索生成多个提示模板，经过在开发集上进行微调得到一个最好性能的提示模板，此外他们还使用了束搜索得到的提示模板用于集成模型的学习。

Experiments

hithithithithit
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
03 Pre-trained Models for Natural Language Processing A Survey.pdf
06-06
Pre-trained Models for Natural Language Processing A Survey
论文笔记：Making Pre-trained Language Models Better Few-shot Learners
qq_43183860的博客
10-08 2149
1.动机 GPT-3 仅仅通过 一个自然语言提示（prompt）和 少量的任务示例就可以作出正确的预测，在Zero-shot、One-shot和Few-shot的场景下展现出了优秀的性能。通常情况下BERT这类微调模型总是需要一些样例来更新模型的参数从而让模型更加适应当前的任务，但是GPT-3可以通过不使用一条样例的Zero-shot、仅使用一条样例的One-shot和使用少量样例的Few-shot来完成推理任务。下面是对比微调模型和GPT-3三种不同的样本推理形式图： 但是拥有1750亿参数的GPT-.
【深度学习】Prompt
Dong_ZH的博客
12-19 1334
Prompt就是“提示”的意思，通俗解释可以参考你画我猜游戏。如下图所示：提示词就作为Prompt，指导对方说出正确答案。而自然语言处理任务中的Prompt也有同样的效果，指导模型输出正确的答案。 Prompt刚刚出现的时候，还没有被叫做Prompt，是研究者们为了下游任务设计出来的一种输入形式或模板，它能够帮助PLM“回忆”起自己在预训练时“学习”到的东西，因此后来慢慢地被叫做Prompt了。 Prompt Learning是指对输入文本信息按照特定模板进行处理，把任务重构成一
论文——Gao_Making Pre-trained Language Models Better Few-shot Learners
Hekena的博客
06-09 397
无
论文解读：Making Pre-trained Language Models Better Few-shot Learners（LM-BFF）
夏栀的博客
04-12 6948
Making Pre-trained Language Models Better Few-shot Learners   陈丹琦团队提出的一种改进GPT-3的模型，其可以扩展到任意的预训练模型上，并可以在小样本情景下更好的进行微调。 1、动机 GPT-3在小样本上进行微调获得了很大的效果，但其参数太多，不适用于真实场景，因此受到GPT-3的启发，我们提出一种LM-BFF（小样本微调预训练模型），主要包括：（1）基于提示（prompt）的微调方法，且提出自动生成提示模板的方法；（2）动态选择样本示例。
Making Pre-trained Language Models Better Few-shot Learners
weixin_43913077的博客
09-10 792
文章目录输入端自动生成PromptPrompt的拼接方式 模型简称LM-BFF，better few-shot fine-tuning of language models。 符号： 预训练模型为L\mathcal{L}L，总数据集为$$ 输入端 自动生成Prompt 对于给定的词表中的label，利用自回归模型T5自动生成Prompt， Prompt的拼接方式 ...
ACL21 - Making Pre-trained Language Models Better Few-shot Learners
ywm_up
12-23 400
Gao T, Fisch A, Chen D. Making pre-trained language models better few-shot learners[J]. ACL 2021. Github：https://github.com/princeton-nlp/LM-BFF 摘要 GPT3效果很好，但是太大了，不实用。 受启发于GPT3 使用 prompt 做 Few-shot 任务表现不错，本文提出 LM-BFF 模型，能更好的 微调 few-shot 语言模型。模型包括： 能够自动生成
DIFFERENTIABLE PROMPT MAKES PRE-TRAINED LANGUAGE MODELS BETTER FEW-SHOT LEARNERS
没有期待的日子反而会顺顺利利
03-21 1420
DifferentiAble pRompT (DART)，预训练的语言模型+反向传播对提示模板和目标标签进行差异优化 可微提示(DART)模型的体系结构与MLM预训练和常规微调进行了比较，其中Ti和Yi是词汇表中未使用的或特殊的标记。我们利用语言模型中的一些参数作为模板和标记标记，并通过反向传播对它们进行优化，而不引入模型之外的其他参数。 提出了一种新的可微提示(DART)微调方法。如图...
NLP的“第四范式”之Prompt Learning总结：44篇论文逐一梳理
Paper weekly
10-24 4966
©作者 |杨浩单位|阿里达摩院研究方向|自然语言处理背景随着 GPT-3 诞生，最大的版本多达 1750 亿参数，是 BERT-BASE 的一千多倍。事实上 GPT-3 的论文叫...
【NLP练级之路 第三篇】Beyond Prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clust
qq_43743819的博客
04-09 295
现在的zero-shot TC的研究要么是有繁杂的人体工程或复杂的self-training过程，阻碍了它们在新情况下的应用。在这一工作中，我们证明了在PLMS嵌入空间中对文本进行聚类可以简单地改进零镜头文本分类。【聚类的方法】在使用类名初始化聚类位置和形状后，我们用贝叶斯-高斯混合模型对未标记文本进行拟合。尽管简单，但该方法在主题和情感分类数据集上都取得了优越或可比的性能，并且在非平衡数据集上的性能显著优于以往的工作。
(GPT3)Language Models are Few-Shot Learners论文阅读
Harry的博客
05-13 1643
最近的工作表明，通过对大量文本语料库进行预训练，然后对特定任务进行微调，许多 NLP 任务和基准测试取得了实质性进展。虽然在体系结构中通常与任务无关，但此方法仍然需要特定于任务的微调数据集，其中包含数千或数万个示例。相比之下，人类通常只能通过几个例子或简单的指令来执行一项新的语言任务——这是当前的 NLP 系统在很大程度上仍然难以做到的。在这里，我们展示了扩大语言模型极大地提高了与任务无关的、少样本(few-shot)的性能，有时甚至可以与先前最先进的微调方法竞争。
A Survey of Knowledge Enhanced Pre-trained.pdf
10-05
带有知识注入的预训练模型(knowledge enhanced pre- training model, KEPTMs)具有深刻的理解和逻辑推理能力，并在一定程度上引入了可解释性。在这个综述中，我们提供了自然语言处理的KEPTMs的全面概述。首先介绍了预...
Recent Advances in Pre-trained Language Models Why Do They Work
12-18
预训练语言模型(PLMs)是在大规模语料库上以自监督方式进行预训练的语言模型。在过去的几年中，这些PLM从根本上改变了自然语言处理社区。在本教程中，我们旨在从两个角度提供广泛而全面的介绍:为什么这些PLM有效，...
Spatio-Temporal MLP-Graph 的 pre-trained models
03-13
checkpoint Pre-trained GT Frame-1 Pose-Refine Without-Pose-Refine Frame-243 Pose-Refine HR-Net Frame-243 Pose-Refine
Pre-trained Convolutional Neural Network代码
04-30
这个例子展示了如何使用预先训练的卷积神经网络(CNN)作为一个特征提取器来训练图像分类器。
prompt炼金：ChatGPT在文献综述中100+类高阶提示词应用
q155281844的博客
04-23 1309
不要让思想的阻碍，这些定制的ChatGPT提示使你能够轻松地组织和传达你的想法，使你的写作过程变得轻松。这些最佳的ChatGPT提示词是为了无缝集成而设计的，这些提示词是宝子们进行出色且有效的研究论文写作过程的关键。近期小编沉迷总结ChatGPT提示词，从之前涵盖全流程的数百条提示词到今天一步一步精炼每个流程中宝子们可能用的上的提示词。小编近期入手了中国人民大学刘东教授发布的《AI写作指南》，这本书非常棒，详细描述了AI工具在写作中的应用，合理全面并且指明了各类注意事项，给了小编非常多的启发。
【IR 论文】Google 对通过 prompt LLM 做 Query Expansion 的工作
VLyb
04-23 1065
本篇论文是 Google 对 LLM 使用 prompt 做 Query Expansion 的研究，文中做了需要实验，测试不同 prompt 的效果，以及在不同指标的具体表现
如何精通ChatGPT Prompt：步骤详解
weixin_42565831的博客
04-25 324
在人工智能的时代，ChatGPT已经成为一个不可或缺的工具，它能够模拟真实的对话，提供信息支持，甚至进行创造性写作。精通ChatGPT Prompt的艺术需要时间和实践，但通过上述步骤，你可以显著提高你的技能，并更有效地利用这一强大的AI工具。例如，它可能无法理解非常具体或专业的查询，或者可能重复以前的错误。如果首次的Prompt没有得到预期的结果，尝试逐步细化问题，这种技术可以帮助模型更好地理解并生成所需的回答。加入相关的论坛和社群，如CSDN论坛，可以让你学习到别人的经验，并分享你的发现。
论文解读：(CAVPT)Dual Modality Prompt Tuning for Vision-Language Pre-Trained Model
最新发布
weixin_50917576的博客
04-26 470
随着大型预训练视觉语言模型(如CLIP)的出现，可转移表征可以通过及时调整适应广泛的下游任务。从存储在预训练模型中的一般知识中，提示调优探测下游任务的有益信息。最近提出了一种名为上下文优化(CoOp)的方法，该方法从语言方面引入了一组可学习向量作为文本提示。然而，单独调整文本提示符只能调整合成的“分类器”，而不能影响图像编码器的计算视觉特征，从而导致次优解。在本文中，我们提出了一种新的双模态提示调谐(DPT)范式，通过同时学习文本和视觉提示。
Text-Augmented Open Knowledge Graph Completion via Pre-Trained Language Models
06-12
《Text-Augmented Open Knowledge Graph Completion via Pre-Trained Language Models》是一篇关于利用预训练语言模型来增强知识图谱自动补全的论文。该论文提出了一种基于文本增强的知识图谱补全方法，该方法使用预...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hithithithithit

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值