【Prompt Engineering 教程：写 Prompt 的艺术】4、Few-Shot Prompting 技术之道

最新推荐文章于 2024-08-13 00:21:30 发布
最新推荐文章于 2024-08-13 00:21:30 发布
阅读量1.7w 收藏 1
点赞数 6
分类专栏： ChatGPT 文章标签： 人工智能 深度学习 自然语言处理 ChatGPT 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/universsky2015/article/details/130908621
版权
本文介绍了Few-Shot Prompting技术，它通过提供示例来帮助语言模型理解任务，提高答案准确性。 Few-Shot Chain of Thought是解决其缺陷的策略，通过展示推理过程引导模型给出更精确的答案。研究指出，示例的质量、标签空间和输入文本的分布，以及正确的格式对性能至关重要。思维链在大模型（参数>=100B）中尤为有效。
摘要由CSDN通过智能技术生成

在这里插入图片描述

【Prompt Engineering 教程：写 Prompt 的艺术】4、Few-Shot Prompting 技术之道

文章目录

同样在推理场景，我提到了 Few-Shot Prompting 的技术，本章介绍下它的优缺点和技巧。

Few-Shot Prompting 介绍

我们在技巧2 中，提到我们可以给模型一些示例，从而让模型返回更符合我们需求的答案。这个技巧其实使用了一个叫 Few-Shot 的方法。

这个方法最早是 Brown 等人在 2020 年发现的，论文里有一个这样的例子，非常有意思，通过这个例子你应该更能体会，像 ChatGPT 这类统计语言模型，其实并不懂意思，只是懂概率 😁

Brown 输入的内容是这样的（whatpu 和 farduddle 其实根本不存在）：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
光剑书架上的书
关注
专栏目录
订阅专栏
【Prompt Engineering 教程：写 Prompt 的艺术】3、Zero-Shot Prompting 技术之道
程序员光剑
05-28 1万+
Zero-Shot Prompting 是一种自然语言处理技术，可以让计算机模型根据提示或指令进行任务处理。各位常用的 ChatGPT 就用到这个技术。传统的自然语言处理技术通常需要在大量标注数据上进行有监督的训练，以便模型可以对特定任务或领域进行准确的预测或生成输出。相比之下，Zero-Shot Prompting 的方法更为灵活和通用，因为它不需要针对每个新任务或领域都进行专门的训练。相反，它通过使用预先训练的语言模型和一些示例或提示，来帮助模型进行推理和生成输出。
最简明的Few-shot Prompt指南
AI相关从业分享
07-02 1687
当它遇到一个新的问题时，我们不需要提供大量的例子，只需要给出几个关键线索（也就是提示），这个助手就能利用它之前学到的知识，快速地理解并解决新问题。但是，如果你给出一些提示，比如“这个问题和之前的几何问题有点像”，这个学生就能快速地应用它之前学到的几何知识来解决这个新问题，即使它之前没有见过完全一样的问题。这种方法的关键在于，通过精心设计的提示，可以有效地将预训练模型的能力迁移到新的任务上，即使是在极少的样本情况下。提示工程的艺术在于，如何通过最小的修改，使得预训练模型能够在新任务上表现良好。
如何使用Few-shot prompting提高tool-calling性能
泉坡吴彦祖的博客
07-30 338
任何类型的few-shotting都有相当大的帮助。Claude 3 Sonnet 的性能在使用zero-shot时是 16%，当使用 3 个语义相似的示例作为信息时上升到了52%使用3个语义相似的示例作为信息的few-shotting比使用3个静态示例的要好，并且通常与使用全部13个示例时一样好或更好使用few-shotting比直接使用文字描述效果要好与 GPT 模型相比，Claude 模型使用few-shotting时提升更明显。
吴恩达提示工程实战演练 - Few-shot prompting
dyrslds的专栏
05-05 363
跟吴恩达实战演练prompt engineering
LangChain Few-shot prompt 用法示例总结
magic_road的博客
09-20 1084
最近有一个工作问题需要花费太多的人工时间，就考虑是否可以用LangChain Prompt进行解决。经过对LangChain 里的几种 prompt 模板对比分析，觉得 Few-shot prompt 最符合需求，然后就着手开始搭建。因为网上对于Few-shot prompt的用法资料不多，或讲解不完整，故此在这里做一下记录；
使用Few-Shot Prompting和工具调用提升AI模型性能
最新发布
ppoojjj的博客
08-13 516
Few-Shot Prompting是一种提示技术，通过向模型提供少量示例来指导其完成特定任务。这种方法特别适用于那些难以用简单指令描述清楚的复杂任务。@tool@tool结合Few-Shot Prompting和工具调用是提升AI模型性能的有效方法，特别是在处理需要精确步骤或外部工具的复杂任务时。通过提供清晰的示例和系统提示，我们可以显著提高模型的准确性和效率。
如何使用chatGPT写好Prompt提示词: Few-shots
AIGC998的博客家
06-17 915
如何一步一步写好GPT的迭代Prompt提示词中提过, 需根据自己的实际需求, 看下 GPT 的输出结果有哪些分支输出需要增强, 哪些分支输出需要剪除. 使用 Few-shots 技巧的好处在于, 脱离文字描述你的需求, 直观地告诉 GPT 你想要的输出具体是什么样。人类大脑的认知: 读取的是"意义", 经过"逻辑思考", 输出的也是"意义"。LLM 大脑的认知: 读取的就是一个个的 Token, 输出的也是一个个的 Token(概率最高的)。
人人都能懂的 Prompt 技巧： Few-Shots 、 COT 、 SC、 TOT 、 Step-Back
oWuChenHua的博客
12-21 7286
CRISPE框架Zero-ShotFew-ShotsCOTSCTOTStep-BackPrompt 模式结果主观评分Zero-Shot花费大量时间思考不同可能的未来情景及其概率可能会令人着迷，但我建议尝试完全不同的方法——自己构建原型。首先，这非常具有挑战性和有趣。其次，它将帮助我们以更有结构的方式审视我们的工作。第三，它将为我们提供实践最先进方法之一——LLM代理的机会。
第08课：Prompt Engineering——提问ChatGPT的艺术
春华秋实
04-29 929
提示工程(Prompt Engineering，也称为In-Context Prompting)指在不更新模型参数的前提下、通过输入文本等方法来操控大型语言模型(Large Language Model)以指导其行为、引导其生成我们需要的结果的方法。
大语言模型的fewshot学习原理与代码实例讲解
程序员光剑
06-12 389
大语言模型的few-shot学习原理与代码实例讲解 1. 背景介绍 1.1 大语言模型概述 1.1.1 大语言模型的定义与特点 大语言模型(Large Langu
文献阅读 ——— Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in NLP
weixin_44695049的博客
12-24 478
这篇文章的编写的动机是为了总结NLP的第四范式Prompt Learning
Raki的读paper小记：Prompting ELECTRA: Few-Shot Learning with Discriminative Pre-Trained Models
Raki_J的博客
08-18 238
我们发现，这些模型的表现一直优于用同等甚至更少的计算量训练出来的MLMs，这表明判别性的预训练模型在zero-shot和few-shot上更有效。分析表明，来自ELECTRA生成器的失败预测实际上可以将具有相反含义的否定词从正确的标记传送到鉴别器，这增强了ELECTRA区分zero-shot预测中具有相反含义概念的能力。分析表明，ELECTRA的生成器很可能将反义词等否定词反馈给判别器，这在预训练期间起到了直接对比的作用。个提示，该模型将正确的目标词预测为原始标记，将不正确的目标单词预测为生成的标记。...
prompt第五讲-fewshot-selector
traveler-leon的博客
07-13 851
从上面来看，比对的完全是具体的翻译内容，这样，如果我输入"美丽"这个词，最相似的肯定是带有"美丽"的案例 ，但是这样显然是不对的，我们需要匹配的内容，其实和翻译的案例没关系，而是和种类有关系，最直觉的方法就是在案例中加入种类信息。这样匹配的时候就考虑到了翻译种类的信息，但是，我们虽然在案例上加入了种类信息，麻烦的地方是输入的时候我们只能输入变量，而种类信息我们是把他定义到了partial变量中，除非我们把这个变量也拿出来。我们希望的是根据不同的助手选择不同的案例，这样对模型的回答才具有指导意义。
论文《Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning》学习笔记
Vincy_King
12-07 275
论文链接： https://arxiv.org/abs/2109.04144 1. Motivation 在进行 sentence pair classification 的时候，如果是 few-shot learning, 使用 prompt-based finetuning 很容易产生启发式推理(Inference Heuristics)的问题（即：模型会因为一个句子对由同一个单词组成，从而假设这个句子对具有相同的含义）, 然而这个问题在 zero-shot learning 下不会出现，这说明 fin
不要Prompt的Few-shot NER
weixin_43913077的博客
10-11 895
前言 基于prompt的方法本质上是为句子级别的任务设计的，很难适应于token级别的任务。因为：针对token级别的template的搜索空间变大；在少量样本上训练容易过拟合。 输入端 b中是提出的模型，它没有添加prompts，但他的label words却很大。如图，对于person类型，它的的label words不仅包含person，还有其他person类的实体John、Australia等等。 输出端 answer映射的构建有三种： Data Search 对于每一个label选取概率最大的
Prompt 指南之零样本与少样本提示，超详细解析！
2401_85328934的博客
05-29 1855
总的来说，零样本和少样本提示各有优势和局限，选择使用哪一种方法取决于特定的任务和目标。为了获得更可靠的响应，还可以考虑使用更高级的提示技术，比如思维链提示，或者对模型进行微调和进一步的提示工程实验，以达到更好的结果。摘要：零样本与少样本提示这两种技术利用 LLM 的强大预训练知识，通过最小化的示例输入，实现对复杂任务的快速适应和高效处理。本文将深入探讨零样本与少样本提示相关的内容，介绍这两种技术的使用方式，区别，使用场景以及局限性。那么，我们该如何学习大模型？
2.1少量样本提示：快速掌握新知
qq_14889337的博客
05-22 691
少量样本提示（few-shot prompting）是一种向语言模型展示少量示例，以帮助模型理解并模仿所需输出格式的技术。目前主流大模型可以在不需要任何样本的情况下可以惊人的完成部分任务；但在实际体验过程中，大家会发现存在以下情况：存在幻觉（多次重复的任务，可能会存在少量几次不正常的输出）；稍微有复杂度的任务，模型没法独立完成思考和引导；
Few-shot Prompt
06-18
Few-shot Prompt，通常在自然语言处理（NLP）中指的是在训练模型时只使用少量示例（或shot）就能让模型学会新任务的技术。这种技术的核心思想是利用提示（Prompt）来指导模型理解新的问题，即使没有大量的特定任务训练数据。 在一些预训练语言模型如GPT-3或BERT中，通过提供一个简短的、与新任务相关的示例（prompt），模型能够推断出正确的答案或完成任务。例如，对于一个问答任务，你可能会提供几个问答对作为"shot"，然后用类似这样的格式提问： ``` Q: What is the capital of France? A: Paris Prompt: Given a country and its capital, what is the capital of [Country]? (e.g., For France, it's Paris.) Q: Capital of Italy? ``` 在这个例子中，模型会基于前面的示例（Paris对France）来推断出"Capital of Italy?"的答案是"Rome"，即使它之前没有直接见过这个具体问题。
评论 75
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

光剑书架上的书

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值