大语言模型三种训练技术：Prompt-Tuning、Instruction-Tuning、Chain-of-Thought

已于 2023-06-17 10:22:58 修改
阅读量1.6k 收藏 6
点赞数
分类专栏： # LLM/预训练&SFT 文章标签： 语言模型 深度学习 自然语言处理
于 2023-05-11 16:37:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/130625347
版权
本文详细介绍了大语言模型的三种训练技术：Prompt-Tuning、Instruction-Tuning和Chain-of-Thought，探讨它们在提升模型生成能力和上下文理解能力方面的差异和应用。Prompt-Tuning依赖于精心设计的提示，Instruction-Tuning通过提供详细指令增强模型任务执行能力，而Chain-of-Thought则通过多步骤思考来解决复杂问题。
摘要由CSDN通过智能技术生成

Prompt-Tuning、Instruction-Tuning和Chain-of-Thought是近几年十分流行的大模型训练技术，本文主要介绍这三种技术及其差别。

本文来自DataLearner官方博客：实际案例说明AI时代大语言模型三种训练技术及其区别——Prompt-Tuning、Instruction-Tuning和Chain-of-Thought | 数据学习者官方网站(Datalearner)

关于传统微调技术和新的prompt-tuning技术的区别和说明，我们已经在之前的文档中做了描述（参考：预训练大语言模型的三种微调技术总结：fine-tuning、parameter-efficient fine-tuning和prompt-tuning的介绍和对比 | 数据学习者官方网站(Datalearner)）。在本文中，我们将详细解释Prompt-Tuning、Instruction-Tuning和Chain-of-Thought这三种大模型训练技术及其差别。

  • Prompt-Tuning介绍
  • Instruction-Tuning介绍
  • Chain-of-Thought介绍
  • 总结
  • 附录：GPT-4生成的使用Instruction-Tuni
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
Prompt-Tuning（单任务，每个任务需要设计一个prompt）与Instruction Tuning（多任务，经过多任务精调后，可以用于其他任务的zero-shot）
u013250861的博客
05-11 494
最近大火的Instruction tuning为何频频受到称赞？经过这种方式精调大模型之后，是否可以提升大模型在NLI和阅读理解的表现？本文作者将带你揭开谷歌Quoc V.Le团队提出精调新范式Instruction tuning的面纱。一、前言前两天在Arxiv刷到个比较牛的论文题目：Finetuned Language Models Are Zero-Shot Learners是不是跟GPT-3有些像：Language Models are Few-Shot Learners以为是蹭热度，就没点进去，结
Instruction-Tuning 与 Prompt-Tuning
荣山的博客
12-29 834
Instruction-Tuning 与 与 Prompt-Tuning
如何正确理解LLM中的Prompt和Instruction？
最新发布
qq_43919498的博客
07-16 824
Prompt是先驱，但它是Instruction的训练数据的一员，不能脱离目前的角色而单独行动，不能既要她是甄嬛，又是霍金，除非好多的Prompt数据（其中各种角色扮演）你能问他好多问题，它可以一会儿是男的，一会儿是女的，根据你问他问题的不同随时切换，一条Prompt控制一种角色扮演。
Prompt Tuning 和instruct tuning
arvinChen的博客
08-25 3399
prompt的思想是，把下游任务的输入转化为预训练模型的原始任务。以bert作为举例，假设任务是文本分类。“今天天气很好。”我们想判断一下这句话的情感是正面还是负面fine-tune的方法是在bert之后接一个head，然后调整整个模型。prompt 的方法是把下游任务转化为预训练任务，我们知道bert的预训练任务是MLM，于是把“今天天气很好。”转化为“今天天气很好。我很[mask][mask]”，我们希望bert预测出"开心"两个字。然后对“开心”映射到正面情感。
Prompt-Tuning、Instruction-Tuning、prefix tuning的区别；Instruction-Tuning（指令调优），和Prefix-Tuning（前缀调优）相关的例子
人工智能曾小健
06-21 7173
如果模型生成了错误的结果，则给予负向奖励。通过 Prefix-Tuning 技术，你可以在模型输入的开头添加一个特定的前缀，来指导对话生成的内容。Prefix-Tuning（前缀调优）：Prefix-Tuning 是一种通过在模型输入中添加特定的前缀，来引导模型生成特定类型的输出。总结来说，Prompt-Tuning 是通过提示来引导模型生成相关内容，Instruction-Tuning 是通过指令来训练模型执行特定任务，而 Prefix-Tuning 是通过在输入中添加前缀来控制生成结果的格式和结构。
instruction-tuning
weixin_43913077的博客
09-08 2775
instruction-tuning是在Prompt-tuning之后提出的，它的思想是：在对A做Prompt-tuning之前，先在其他若干的任务之上做Prompt-tuning。如图： 每个任务有多个Prompt，作者使用了10个。 引用：别再Prompt了！谷歌提出tuning新方法，强力释放GPT-3潜力！ ...
Instruction Tuning（FLAN、instructGPT、chatGPT）
nakaizura
12-10 2万+
首页最近被chatGPT刷屏，但翔二博主左看右看发现很多想法似乎都是一脉相通的，于是连夜从存档中找了一些文章尝试理一理它的理论路线。博主个人理解，它以更为embodied AI形式的指令作为输入，以训练/微调大规模的信息模型，并基于强化学习与真实世界做持续交互，已经很接近此处所提到的“数字超人”了。
In-context learning系列之instruction tuning
zenRRan的博客
05-09 1025
来着：NLP日志提纲1 简介2 NATURAL-INSTRUCTIONS‍3 FLAN‍‍4 FLAN finetune5 SUPER-NATURALINSTRUCTIONS6 总结‍‍‍参考文献进NLP群—>加入NLP交流群1 简介相信大家都体验ChatGPT的功能，任意给定一个任务指令，ChatGPT基本能按照要求生成对应的回复。ChatGPT之所以可以理解这些任务指令，在于语言...
Prompt-Tuning——深度解读一种新的微调范式
热门推荐
夏栀的博客
11-19 7万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
大模型微调-方法(2)：Prompt Tuning：深度解读一种新的微调范式
u013250861的博客
05-10 472
这绝对是我看过最全面细致的Prompt Tuning技术综述之一，全文共五万多字，看完之后你一定发出一样的感叹！
LLM - 大语言模型的指令微调(Instruction Tuning) 概述
Mystra
03-25 2199
大语言模型的指令微调(Instruction Tuning)是一种优化技术，通过在特定的数据集上进一步训练大型语言模型(LLMs)，使其能够更好地理解和遵循人类的指令。这个数据集通常由一系列的指令和相应的期望输出组成。指令微调的目的是提高模型的能力和可控性，使其在执行任务时能够更准确地响应用户的需求。
解锁LLMs的“思考”能力：Chain-of-Thought(CoT) 技术推动复杂推理的新发展
丨汀、的博客
06-14 1224
解锁LLMs的“思考”能力：Chain-of-Thought(CoT) 技术推动复杂推理的新发展
Instruction Tuning｜谷歌Quoc V.Le团队提出精调新范式！香过Prompt！
李rumor
09-08 518
卷友们好，我是rumor。前两天在Arxiv刷到个比较牛的论文题目：Finetuned Language Models Are Zero-Shot Learners是不是跟GPT-3有些像...
Instruction Tuning for Large Language Models: A Survey
c_cpp_csharp的专栏
08-28 763
本文综述了快速发展的指令调整（IT）领域的研究工作，这是提高大型语言模型（LLM）能力和可控性的关键技术。指令调整是指以监督的方式在由（Instruction，OUTPUT）对组成的数据集上进一步训练LLM的过程，它弥合了LLM的下一个单词预测目标和用户让LLM遵守人类指令的目标之间的差距。在这项工作中，我们对文献进行了系统的回顾，包括指令调整的一般方法、指令调整数据集的构建、指令调整模型的训练以及对不同模式、领域和应用的应用，以及对影响指令调整结果的方面的分析（例如，指令输出的生成、指令数据集的大小等）
大语言模型的指令微调（Instruction Tuning）最全综述：从数据集到技术全解析
modi000的博客
02-01 6206
而指令微调是一种通过在包括（指令，输出）对的数据集上进一步训练大型语言模型（LLMs）的过程，以增强LLMs的能力和可控性。指令微调的特殊之处在于其数据集的结构，即由人类指令和期望的输出组成的配对。总的来说，指令微调是有监督微调的一种特殊形式，专注于通过理解和遵循人类指令来增强大型语言模型的能力和可控性。如果按照在模型哪个阶段使用微调，或者根据模型微调的目标来区分，也可以从提示微调、指令微调、有监督微调的方式来。其实，很多领域都有对大模型做指令微调的需求，但是不同领域的指令微调需求可能也有差异。
chatgpt 对生成式模型中的问题回答，ChatGPT模型 和LLM区别？instruct-tuning和Prompt Tuning 的区别
m0_37192554的博客
06-06 1827
其核心思想是在训练中加入任务相关的提示信息（prompt），使得模型在输入时能够更好地理解任务的内容和要求，从而提高模型对任务的准确性和泛化能力。具体来说，RLHF借助人类反馈和增强学习的方法优化生成模型，而Prompt Tuning则是通过任务相关提示信息和参数微调的方法来提高模型性能。总的来说，Instruct-tuning和Prompt Tuning都是微调方法，但是Instruct-tuning更关注于特定任务的指导信息的加入，而Prompt Tuning更加通用，可以用于各种任务和模型结构。
Instruction Tuning：无/少样本学习新范式
Kaiyuan_sjtu的博客
02-17 2486
作者|太子长琴整理|NewBeeNLP大家好，这里是NewBeeNLP。今天分享一种简单的方法来提升语言模型的 Zero-Shot 能力——指示（或指令）微调（instruction tuning） ，在一组通过指示描述的数据集上对语言模型微调，大大提高了在未见过任务上的 Zero-Shot 能力。模型 137B，在超过 60 个使用描述模板描述的数据集上微调。FLAN 在 20/25 ...
深度解析Prompt-Tuning：微调新范式与应用探索
在本文中，我们将深度探讨Prompt-Tuning，这是一种全新的微调范式，尤其在深度学习领域，如大型语言模型（LLM）、自动创意生成内容（AIGC）以及如何利用这些模型构建特定领域的应用。作者王嘉宁通过NewBeeNLP公众号...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值