[LLM][Prompt Engineering]：大语言模型上下文学习-What、How、Why？

已于 2024-08-29 15:52:35 修改
阅读量1.6k 收藏 10
点赞数 10
分类专栏： # 从0开始AIGC 文章标签： AIGC
于 2024-08-29 13:56:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41897558/article/details/141676968
版权

上下文学习

在GPT-3的论文中，OpenAI 研究团队首次提出上下文学习（In-contextlearning, ICL） 这种特殊的提示形式。

什么是上下文学习

上下文学习是使用由任务描述和（或）示例所组成的自然语言文本作为提示的提示策略。如下图所示，首先，通过自然语言描述任务，并从任务数据集中选择一些样本作为示例。其次，根据特定的模板，将这些示例按照特定顺序组合成提示内容。最后，将测试样本添加到提示后面，整体输入到大语言模型以生成输出。基于任务描述以及示例信息，LLM无需显式的梯度更新即可识别和执行新的任务。

image-20240828181704225

给定由 k k k 个样本组成的示例数据集合 D k = { f ( x 1 , y 1 ) , . . . , f ( x k , y k ) } D_k=\{f(x_1,y_1), ...,f(x_k,y_k) \} Dk​={ f(x1​,y1​),...,f(xk​,

最低0.47元/天 解锁文章
【提示词工程艺术】第4章：上下文工程
AI天才研究院
10-01 1072
第二部分：高级提示词技巧 第4章：上下文工程 上下文工程是提示词工程中的一个关键环节，它关注如何有效地利用和管理上下文信息，以提高模型输出的质量和相关性。在本章中，我们将深入探讨上下文的重要性，以及如何在各种场景中优化上下文使用。 4.1
LLMs之PE：大模型核心技术—提示工程(Prompt Engineering)—拿来即用—实战应用技巧案例集合(如PC/CoT/ToT/ReACT/ScP/PCTS等思想，Broke/RTRWCO-
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-11 2744
引导推理方法。
大模型学习范式之语境学习(In-context learning)
star_nwe的博客
09-02 7261
In-Context Learning 是一种高效的技术，通过在模型推理时提供上下文信息，能够灵活地适应不同的任务和应用场景。它不需要对模型进行实际的参数更新，而是利用模型的预训练知识和上下文理解能力来生成或调整输出。这种方法具有很强的灵活性和应用广泛性，但也面临着上下文长度限制和输出一致性等挑战。
In-Context Learning玩法大全
李rumor
01-06 5389
卷友们好，我是rumor。虽然ChatGPT在大众眼里的热度可能已经过去了，但它prompt出了我的焦虑，于是最近一直在补大模型相关的工作。比起小模型，大模型有一个很重要的涌现能力（Emergent ability）就是In-Context Learning（ICL），也是一种新的范式，指在不进行参数更新的情况下，只在输入中加入几个示例就能让模型进行学习，如下图中用ICL做情感分析任务的栗子：忽略...
In-Context Learning：一种强大的机器学习范式
xycxycooo的博客
09-07 2159
In-Context Learning是一种机器学习范式，它允许模型在无需显式训练的情况下，通过上下文信息进行学习和推理。与传统的监督学习不同，In-Context Learning不需要大量的标注数据，而是依赖于上下文中的示例和提示来引导模型的学习过程。In-Context Learning作为一种新兴的机器学习范式，展现出巨大的潜力和应用价值。
谈谈 NLP中 大语言模型 LLM的上下文能力 In-Context Learning(ICL)
Neleuska的博客
06-12 8391
NLP语言模型、大模型LLM、In-Context Learning(ICL)
In-Context Learning中的示例选择及效果
Kaiyuan_sjtu的博客
04-25 2125
一. ICL的背景大型语言模型（LLM）如GPT-3是在大规模的互联网文本数据上训练，以给定的前缀来预测生成下一个token（Next token prediction）。这样简单的训练目标，大规模数据集以及高参数量模型相结合，产生了性能极强的LLM，它可以“理解”任何文本输入，并在其基础上进行“写作”，除此以外，GPT-3的论文发现[1]，大规模的训练数据会产生一种有趣的新兴行为，称为In-C...
LLM 和生成式 AI 简介：LLM 架构、提示词工程和 LLM 配置 & 大型语言模型中的思维链（CoT）：介绍和应用
AI天才研究院
10-31 672
Attention is All You Need 是 Google 研究人员于 2017 年发表的一篇研究论文，其中介绍了 Transformer 模型，这是一种新颖的架构，彻底改变了自然语言处理 (NLP) 领域，并成为我们现在所知的AI大模型的基础 - 例如如 GPT、PaLM 等。作者证明，他们的模型在多项机器翻译任务上实现了最先进的性能，并且优于之前依赖 RNN 或 CNN 的模型。总的来说，及时的工程设计和理解不同模型的特征对于最大限度地提高语言模型在各种任务中的有效性起着至关重要的作用。
【大模型】Lamini：用于快速定制模型的 LLM 引擎 | Introducing Lamini, the LLM Engine for Rapidly Customizing Models
AI天才研究院
04-29 9313
今天，您可以试用我们的托管数据生成器来训练您自己的 LLM、权重和所有内容，而无需启动任何 GPU，只需使用 Lamini 库中的几行代码。请注意，虽然我们发现 OpenAI 模型的平均表现更好，但它们的许可限制了将生成的数据用于类似于 ChatGPT 的训练模型的商业用途。随着每天发布新的 LLM，我们将默认值更新为性能最佳的模型。Lamini 数据生成器是一个 LLM 流水线，它采用你最初的 100 多条指令的小集合，与预期的响应配对，生成 50k+ 新对，灵感来自 Stanford Alpaca。
大型语言模型的提示工程
强化学习曾小健
11-18 247
据传闻，在 GPT-4 等更高级的 GPT 模 型上，“一步一步思考”的帮助较小（增加的价值更少）。这可能部分归因于这样一个事实，即提示通常有许多可能的 有效输出（未确定），因此提供您要查找的内容的具体示例有助于限制潜在的输出空间。语言，例如 Python。考虑 提示的主要限制之一是 LLM 的上下文长度，这本质上是 LLM 可以考虑和生成的输入量。随着 OpenAI 的 ChatGPT 和谷歌的 Bard 等软件的普及，大型语言模型 （LLM） 已经渗透到生活和工作的许多方面。在多项任务上的准 确性。
【In-Context Learning】Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?
夏栀的博客
03-28 2544
In-Context Learning（ICL）是最近比较火热的方向，其主要针对超大规模模型（例如1750B参数量的GPT-3模型），在只提供少量标注样本作为提示的前提下，即可以实现很惊艳的效果。本文主要探索In-Context Learning的影响因素有哪些。
【In-Context Learning】Meta-learning via Language Model In-context Tuning
夏栀的博客
11-28 2629
In-Context Learning是最近比较火热的方向，其主要针对超大规模模型，在只提供少量标注样本作为提示的前提下，即可以实现很惊艳的效果。
【高效利用大语言模型】上下文学习？微调？提示学习？指示学习？
weixin_45929355的博客
02-21 5191
上下文学习（In context learning）是在 GPT-3 中首次提出的，它表明随着模型尺寸的增大，ICL 的能力变得更加明显，那么什么是上下文学习呢？在LMM领域，上下文学习（In context learning）即提示学习，也叫语境学习、任务相关的类比样本中学习等，它可以看做模型语义理解能力的一种，即对于一个大规模预训练模型，对于不同的下游任务，不需要调整模型参数，它可以根据我们的演示示例输出我们想要的结果，本质上，它相当于使用训练完好的语言模型估计给定示例条件下的条件概率分布模型。
In Context Learning（ICL）个人记录
qq_55736201的博客
05-13 1178
In Context Learning（ICL）的关键思想是从类比中学习。上图给出了一个描述语言模型如何使用 ICL 进行决策的例子。首先，ICL 需要一些示例来形成一个演示上下文。这些示例通常是用自然语言模板编写的。然后 ICL 将查询的问题（即你需要预测标签的 input）和一个上下文演示（一些相关的 cases）连接在一起，形成带有提示的输入prompt，并将其输入到语言模型中进行预测。其中I表示任务。值得注意的是，与需要使用反向梯度更新模型参数的训练阶段的监督学习不同，。
In-Context Learning开卷视觉任务，DeepMind提出快速适应新任务的“蜂鸟”模型
TechBeat人工智能社区博客
07-21 532
本文主要针对的视觉任务为密集场景理解任务，例如语义分割和深度估计。作者首先对完成这些任务所需要的视觉组件进行了研究，并且从（1）通用性、（2）参数效率和（3）快速适应三个方面对这些组件进行设计。为了实现与自然语言领域类似的In-Context Learning效果，作者团队首先将传统的非参数最近邻（NN）检索方法[1]拓展到密集场景预测任务中，这种基于检索的解码机制的优点就是不需要针对特定任务进行参数微调。因而作者认为这种方式是目前实现视觉In-Context Learning效果的最佳方案，其可以直接加载
In-context Learning
onlyxinbaby的博客
02-16 973
advantages: 提供了与LLM进行交流的可解释的接口，通过template和demonstration将人类知识和LLM更好的结合；更像人类的预测思维，会根据类比；warmup是介于pretraining和 inference之间的，可选择的，一般是调整llm或者增加一些参数，不同于fine-tune，不会对llm针对具体任务进行训练。严格说ICL是prompt learning的子类，其中的demonstration和是prompt的一种，只不过demonstration是很多的xy对构成的。
In Context Learning 详解#（转载）
To be a better man
12-18 1690
大型语言模型（LM）能够通过对几个输入标签对进行条件调节，并对新的输入进行预测，仅通过推理就可以进行明文学习来执行新的任务。然而，对于模型是如何学习的，以及演示的哪些方面有助于最终任务的性能，人们知之甚少。在这篇论文中表明，事实上，不需要在演示中随机替换标签，这几乎不会影响一系列分类和多choce任务的性能，在包括GPT-3在内的12个不同模型中始终如此。相反发现演示的其他方面是最终任务性能的关键驱动因素，包括它们提供了以下几个例子：（1）标签空间（2）输入文本的分布（3）序列的整体格式。
什么是上下文学习（In-Context Learning, ICL）
最新发布
彬彬侠的博客
04-13 775
上下文学习（In-Context Learning, ICL） 是大语言模型（如 GPT-3、GPT-4）非常关键的一种学习方式，它是指：在推理阶段，模型无需任何参数更新，仅通过输入提示（prompt）中提供的上下文示例，就能完成新任务。这是大语言模型区别于传统机器学习模型的重要能力之一。上下文学习引出了很多重要的研究方向：自动构建 Few-shot 示例（Prompt Selection），上下文示例排序优化，Chain-of-Thought（CoT）推理，Program-of-Thought（PoT）推
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值