大语言模型三种训练技术：Prompt-Tuning、Instruction-Tuning、Chain-of-Thought

已于 2023-06-17 10:22:58 修改
阅读量1.3k 收藏 5
点赞数
分类专栏： # LLM/预训练&SFT 文章标签： 语言模型 深度学习 自然语言处理
于 2023-05-11 16:37:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/130625347
版权

Prompt-Tuning、Instruction-Tuning和Chain-of-Thought是近几年十分流行的大模型训练技术，本文主要介绍这三种技术及其差别。

本文来自DataLearner官方博客：实际案例说明AI时代大语言模型三种训练技术及其区别——Prompt-Tuning、Instruction-Tuning和Chain-of-Thought | 数据学习者官方网站(Datalearner)

关于传统微调技术和新的prompt-tuning技术的区别和说明，我们已经在之前的文档中做了描述（参考：预训练大语言模型的三种微调技术总结：fine-tuning、parameter-efficient fine-tuning和prompt-tuning的介绍和对比 | 数据学习者官方网站(Datalearner)）。在本文中，我们将详细解释Prompt-Tuning、Instruction-Tuning和Chain-of-Thought这三种大模型训练技术及其差别。

  • Prompt-Tuning介绍
  • Instruction-Tuning介绍
  • Chain-of-Thought介绍
  • 总结
  • 附录：GPT-4生成的使用Instruction-Tuning微调GPT-4的案例

Prompt-Tuning介绍

一切还是从BERT（BERT模型卡信息：「链接」）说起，当年Google提出BERT模型的时候，一个最大的贡献是使用了Masked Language Model

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
InstructionTuning的实战应用
禅与计算机程序设计艺术
03-15 103
1. 背景介绍 1.1 什么是InstructionTuning InstructionTuning（指令调优）是一种针对计算机程序中的指令序列进行优化的技术，以提高程序的执行效率。这种优化技术可以在编译器、解释器或运行时系统中实现，通过对指令序列进行重新排列、合并或删除等操
Instruction-Tuning 与 Prompt-Tuning
荣山的博客
12-29 631
Instruction-Tuning 与 与 Prompt-Tuning
Prompt-Tuning：深度解读一种全新的微调范式
10-31
Prompt-Tuning：深度解读一种全新的微调范式， LLM、 AIGC、基于LLM构建领域应用
大语言模型综述：从T5到GPT-4最全盘点
05-22
在预训练或适应性调整之后，使用 LLMs 的一个主要方法是为解决各种任务设计合适的 prompt 策略。一个典型的 prompt 方法是上下文学习（in-context learning），它以自然语言文本的形式制定了任务描述或演示。此外，思维链 prompting 方法可以通过将一系列中间推理步骤纳入 prompt 中来加强上下文学习。在第六节中，研究者详细介绍了这两种技术的细节。 作为一种特殊的 prompt 形式，上下文学习（ICL）是 GPT-3 首次提出的，它已经成为利用 LLMs 的一种典型方法。 思维链 prompt 思维链（CoT）是一种改进的 prompt 策略，可以提高 LLM 在复杂推理任务中的表现，如算术推理、常识推理和符号推理。CoT 不是像 ICL 那样简单地用输入 - 输出对来构建 prompt，而是将能够导致最终输出的中间推理步骤纳入 prompt。在第 6.2 节中，研究者详细说明了 CoT 与 ICL 的用法，并讨论 CoT 何时有效以及为何有效。 能力评估 为了研究 LLMs 的有效性和优越性，研究者利用了大量的任务和基准来进行实证评估和分析
AI大模型优缺点比较分析
weixin_73425532的博客
02-13 4154
AI大模型在不同领域的应用不断推进着人工智能技术的发展。本论文将对八个不同的AI大模型进行综合分析，分别是Chat GPT 4、文心一言、通易千问、360智脑、智源“悟道”、商量、天工和清华OpenBMB。我们将从模型性能、语义理解、交互能力等多个方面对它们的优缺点进行比较。通过综合分析，可以为不同领域的AI应用提供参考和指导。本论文对八个不同的AI大模型进行了综合分析，包括Chat GPT 4、文心一言、通易千问、360智脑、智源“悟道”、商量、天工和清华OpenBMB。
计算机专业英语词汇1695词（35天记忆）
lin1151211427的博客
03-23 1万+
计算机专业英语
Prompt-Tuning、Instruction-Tuning、prefix tuning的区别；Instruction-Tuning（指令调优），和Prefix-Tuning（前缀调优）相关的例子
人工智能曾小健
06-21 5917
如果模型生成了错误的结果，则给予负向奖励。通过 Prefix-Tuning 技术，你可以在模型输入的开头添加一个特定的前缀，来指导对话生成的内容。Prefix-Tuning（前缀调优）：Prefix-Tuning 是一种通过在模型输入中添加特定的前缀，来引导模型生成特定类型的输出。总结来说，Prompt-Tuning 是通过提示来引导模型生成相关内容，Instruction-Tuning 是通过指令来训练模型执行特定任务，而 Prefix-Tuning 是通过在输入中添加前缀来控制生成结果的格式和结构。
instruction-tuning
weixin_43913077的博客
09-08 2601
instruction-tuning是在Prompt-tuning之后提出的，它的思想是：在对A做Prompt-tuning之前，先在其他若干的任务之上做Prompt-tuning。如图： 每个任务有多个Prompt，作者使用了10个。 引用：别再Prompt了！谷歌提出tuning新方法，强力释放GPT-3潜力！ ...
Prompt Tuning 和instruct tuning
arvinChen的博客
08-25 2880
prompt的思想是，把下游任务的输入转化为预训练模型的原始任务。以bert作为举例，假设任务是文本分类。“今天天气很好。”我们想判断一下这句话的情感是正面还是负面fine-tune的方法是在bert之后接一个head，然后调整整个模型。prompt 的方法是把下游任务转化为预训练任务，我们知道bert的预训练任务是MLM，于是把“今天天气很好。”转化为“今天天气很好。我很[mask][mask]”，我们希望bert预测出"开心"两个字。然后对“开心”映射到正面情感。
LLM：提示学习Prompt Learning
皮皮blog
04-23 4250
Pre-training + Fine-tuning 模式：先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PLM）（e.g. GPT、EMLO、BERT），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。缺陷：在大多数的下游任务微调时，下游任务的目标与预训练的目标差距过大导致提升效果不明显，微调过程中依赖大量的监督语料等。
prompt和instruct的区别究竟是什么
qq_42606059的博客
05-04 2404
民事责任的适用条件包括：1.有过错：造成损害的行为必须是具有过错的行为，不能是无过错的行为。总之，当出现道路交通事故中的民事责任问题时，需要根据具体情况来判断，如果当事人的行为具有过错，并且由此给他人造成了损失，那么该当事人就应当承担民事责任，进行赔偿等相应处理。在目前实际的运用当中，我们通常会说，给大语言模型写一个prompt，但是我们很少会给语言模型写instruct，与此同时，只有instructGPT而没有promptGPT。需要注意的是，在实际运用当中，prompt和instruct时常混用！
prompt-to-prompt-main
03-29
prompt-to-prompt-main
tty-prompt：漂亮而强大的交互式命令行提示符
01-29
TTY :: Prompt为工具包提供了独立的提示组件。 产品特点 收集用户输入的提示类型数 用于验证复杂输入的强大API 用户友好的错误反馈 直观的DSL，用于创建复杂的菜单 可以分页长菜单 支持Linux，OS X，FreeBSD和...
go-prompt：受python-prompt-toolkit启发，在Go中构建强大的交互式提示
02-01
func completer ( d prompt. Document ) []prompt. Suggest { s := []prompt. Suggest { { Text : "users" , Description : "Store the username and age" }, { Text : "articles" , Description : "Store the ...
Prompt-Tuning——深度解读一种新的微调范式
热门推荐
夏栀的博客
11-19 6万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
计算机专业英语词汇 1695 词
weixin_41394875的博客
08-24 3344
身为程序猿的你是不是时常写代码定义变量名卡壳？看 github README 介绍说明是不是有点吃力？看国外技术文档是不是摸不着头脑？不要怀疑，你的英语词汇量不行。
OpenAI私有自然语言处理模型、ChatGPT官方模型、百度智能云UNIT模型定制三者的使用方式、应用场景及区别
koko创作
04-28 6910
ChatGPT是OpenAI开发的一个基于大规模预训练的自然语言处理模型。
AI：大语言模型训练方法 - 机器学习
Java_1710的博客
12-05 1680
通过创新的方法和技术，如模型无关的元学习（model-agnostic meta-learning，MAML）和原型网络（prototypical networks），研究人员和工程师现在能够在更少的样本和更短的时间内训练出更有效的模型。In-context learning在NLP领域十分火热，因为它能够提高模型在大模型（如GPT3，Instruction GPT，ChatGPT）上的性能，使得这些模型更加高效地处理各种任务。这种方法可以帮助模型理解上下文，进行深入的推理，从而做出准确的预测。
Prompt Tuning 相比于 Fine Tuning 在哪些场景下表现更好？
zenRRan的博客
01-31 1691
作者：杰瑞和他的猫 (已获作者授权)链接：https://zhuanlan.zhihu.com/p/595178668排版：深度学习自然语言处理 公众号近年来 NLP 学术领域发展真是突飞猛进，刚火完对比学习(contrastive learning)，又有更火的提示学习 prompt learning。众所周知，数据标注数据很大程度上决定了AI算法上限，并且成本非常高，无论是对比学习还是提示学习...
The following packages are not available from current channels: - prompt-toolkit==3.0.2
最新发布
04-11
"prompt-toolkit"是一个Python库，用于构建命令行界面的工具包。根据您提供的信息，当前的软件源中没有可用的"prompt-toolkit"版本3.0.2。 如果您需要安装特定版本的"prompt-toolkit"，您可以尝试以下方法之一： 1. 更新软件源：使用命令`conda update --all`或`pip install --upgrade pip`来更新您的软件源，然后再次尝试安装"prompt-toolkit"。 2. 指定其他可用的软件源：您可以尝试添加其他软件源，例如conda-forge或者PyPI，然后再次尝试安装"prompt-toolkit"。例如，使用conda安装时可以使用命令`conda install -c conda-forge prompt-toolkit==3.0.2`，使用pip安装时可以使用命令`pip install prompt-toolkit==3.0.2`。 请注意，根据您的操作系统和Python环境的不同，可能需要适当调整上述命令。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值