18种大模型指令调优方法分享，附模型源码

最新推荐文章于 2024-04-23 15:20:24 发布
最新推荐文章于 2024-04-23 15:20:24 发布
阅读量1.8k 收藏 5
点赞数
分类专栏： 人工智能干货 深度学习干货 文章标签： 大模型 指令调优
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42645636/article/details/134423017
版权

指令调优（IT），一种针对大型语言模型（LLMs）的训练方法，是提高大型语言模型能力和可控性的关键技术。该方法的核心目标是使LLM具备遵循自然语言指令并完成现实世界任务的能力。它弥补了LLM的下一个单词预测目标与用户让LLM遵循人类指令的目标之间的差距，约束了模型的输出，使其符合预期的响应特征或领域知识。

随着计算机技术的发展，指令调优在一些需要执行特定任务的场景上，如机器翻译、问答系统等，都有着广泛的应用前景。

为帮助大家理解并掌握IT，我这次整理了18种指令调优方法，包含指令微调LLMs、多模态指令微调两个方向，每个方法的原文及模型源码也都整理了，需要的同学看文末

指令微调LLMs

1.InstructGPT

论文：Training language models to follow instructions with human feedback

通过人类反馈训练语言模型遵循指令

简述：本文提出一种通过人类反馈微调语言模型的方法，使其与用户意图对齐。作者收集了标注者演示所需行为的数据集和模型输出排名的数据集，微调GPT-3得到InstructGPT模型。在人机评估中，1.3B参数的InstructGPT模型比175B GPT-3更受青睐，同时减少了输出不真实和有害的情况，性能下降不大。

2.BLOOMZ

论文：Crosslingual Generalization through Multitask Finetuning

跨语言泛化通过多任务微调实现

简述：本文将多任务微调应用于预训练的多语言BLOOM和mT5模型族，生成了名为BLOOMZ和mT0的微调变体。研究发现，在英语任务上微调大型多语言语言模型并使用英文提示可以使模型泛化到非英语语言的任务中。在多语言任务上使用英文提示进行微调进一步提高了性能，实现了各种最先进的零样本结果。

3.FLAN-T5

论文：Scaling Instruction-Finetuned Language Models

缩放指令微调语言模型

简述：本文研究了在一系列指令性数据集中微调语言模型的效果，并发现这可以提高模型性能和对未见过的任务的泛化能力。作者特别关注三个方面：扩展任务数量、扩大模型规模、在思维链数据上进行微调。研究发现，在这些方面进行指令微调可以显著提高各种模型类别、提示设置和评估基准的性能。例如，Flan-PaLM 540B在1.8K个任务上进行了指令微调，比PaLM 540B高出很多（平均+9.4%）。作者还公开发布了Flan-T5检查点，它在少样本性能方面表现强劲，甚至与更大的模型相比也毫不逊色。

4.Alpaca

论文：Alpaca: A Strong, Replicable Instruction-Following Model

一种强大、可复制的指令跟随模型

简述：指令跟随模型越来越强大，但仍然存在许多缺陷。为了解决这些问题，研究人员发布了一种名为Alpaca的指令跟随语言模型，它是基于Meta的LLaMA 7B模型微调而来的。该模型在52K个以text-davinci-003的自我指导风格生成的指令跟随演示上进行了训练。

5.Vicuna

项目：Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Qualit

一个开源聊天机器人，以90%的ChatGPT质量给GPT-4留下深刻印象

简述：LMSYS介绍了开源聊天机器人Vicuna-13B，它是通过在ShareGPT上收集的用户共享对话中微调LLaMA进行训练的。初步评估使用GPT-4作为评判标准显示，Vicuna-13B实现了超过90％*的OpenAI ChatGPT和Google Bard的质量，并在超过90％*的情况下优于其他模型，如LLaMA和斯坦福Alpaca。

6.GPT-4-LLM

论文：Instruction tuning with gpt-4

使用GPT-4进行指令调优

简述：本文介绍了使用GPT-4生成指令跟随数据来微调大型语言模型（LLMs）的首次尝试。早期的实验表明，使用GPT-4生成的52K英文和中文指令跟随数据比先前最先进的模型生成的指令跟随数据在全新任务上表现出更出色的零样本性能。作者还收集了来自GPT-4的反馈和比较数据，以实现全面的评估和奖励模型训练。

7.WizardLM

论文：WizardLM: Empowering Large Language Models to Follow Complex Instructions

赋予大型语言模型遵循复杂指令的能力

简述：本文提出了一种使用大型语言模型（LLM）生成指令数据的方法，以代替人工创建。通过逐步将初始指令重写为更复杂的指令，并将所有生成的指令数据混合到一起微调LLaMA，得到的结果被称为WizardLM。在人类评估和GPT-4自动评估中，WizardLM表现出比ChatGPT更好的能力。

8.LIMA

论文：Lima: Less is more for alignment

对齐时，少即是多

简述：本文介绍了一种使用大型语言模型（LLM）进行训练的方法，分为无监督预训练和大规模指令微调两个阶段。作者通过训练LIMA来证明，在有监督损失微调中，只需要少量示例即可让LLM学习到高质量的输出。LIMA表现出非常出色的性能，能够遵循特定的响应格式，并泛化到未见过的任务上。

9.OPT-IML

论文：OPT-IML: Scaling Language Model Instruction Meta Learning through the Lens of Generalization

通过泛化的视角扩展语言模型指令元学习

简述：论文提出了一种使用大型预训练语言模型进行指令元学习的方法，通过扩展模型和基准规模来提高其在未见过的任务上的泛化能力。作者创建了一个包含2000个NLP任务的大型基准测试集，并展示了在不同指令微调决策下的应用效果。通过这个框架，作者训练了OPT-IML 30B和175B，这两个模型是OPT的指令微调版本，并在四个不同的评估基准测试集上表现出了很好的性能。

10.Dolly 2.0

项目：Free dolly: Introducing the world’s first truly open instruction-tuned llm

介绍世界上第一个真正开放的指令调优LLM

简述：Dolly 2.0 是第一个开源的、指令遵循的、120亿参数的语言模型，完全基于EleutherAI pythia模型系列进行微调，并专门使用了一个新的、高质量的人工生成指令遵循数据集，该数据集是在Databricks员工中进行众包收集的。

11.Tülu

论文：How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources

探索开放资源上的指令调优状态

简述：本文研究了在一系列开放指令遵循数据集上进行指令调优的语言模型的最新进展，提供了一组从67亿到650亿参数规模的指令调优模型，并使用自动、基于模型和基于人类的指标对其进行了评估。实验表明，不同的指令调优数据集可以发现或增强特定的技能，但没有单个数据集（或组合）在所有评估中提供最佳性能。作者还介绍了Tülu，这是在高质量的开放资源组合上微调的最佳表现的指令调优模型套件。

12.UltraLM

论文：Enhancing chat language models by scaling high-quality instructional conversations

通过扩展高质量的指导性对话来增强聊天语言模型

简述：作者提供了一个多样化、信息量大的指导性对话数据集UltraChat，并基于该数据集微调了一个强大的对话模型UltraLLaMA。评估结果表明，UltraLLaMA优于其他开源模型。

多模态指令微调

1.InstructPix2Pix

论文：Instructpix2pix: Learning to follow image editing instructions

学习遵循图像编辑指令

简述：本文提出了一种根据人类指令快速编辑图像的方法。作者结合了两个大型预训练模型的知识来生成大量的图像编辑示例数据集，并使用这个数据集训练了一个新的条件扩散模型InstructPix2Pix。该模型可以在几秒钟内快速编辑图像，并在推理时推广到真实图像和用户编写的指令。

2.LLaVA

论文：Visual instruction tuning

可视化指令调优

简述：本文介绍了一种使用语言模型生成多模态语言-图像指令遵循数据的可视化指令调优方法，以改善新任务的零样本能力。作者首次尝试使用只有语言的GPT-4来生成多模态语言-图像指令遵循数据，并通过这种生成的数据进行指令调优，引入了LLaVA。LLaVA是一个端到端训练的大型多模态模型，将视觉编码器和LLM连接起来，用于通用的视觉和语言理解。

3.Video-LLaMA

论文：Video-llama: An instruction-tuned audio-visual language model for video understanding

一种用于视频理解的指令调优的视听语言模型

简述：论文提出了一种多模态框架Video-LLaMA，可让大型语言模型理解视频中的视觉和听觉内容。该模型从冻结的预训练视觉和音频编码器以及冻结的LLMs开始进行跨模态训练，解决了捕捉视觉场景中的时间变化和整合视听信号两个挑战。作者还提出了一个Video Q-former来将预训练的图像编码器组装到视频编码器中，并引入了一个视频到文本生成任务来学习视频-语言对应关系。

4.InstructBLIP

论文：Instructblip: Towards general-purpose visionlanguage models with instruction tuning

通过指令调优实现通用视觉语言模型

简述：本文介绍了一种通用视觉语言模型InstructBLIP，通过大规模的预训练和指令调优实现了广泛的能力。作者使用26个公开可用的数据集进行训练，引入了一种指令感知的查询转换器来提取相关信息特征。在13个持有数据集中进行训练后，InstructBLIP在所有测试集上都达到了最先进的零样本性能，显著优于其他模型。在单个下游任务上进行微调时，InstructBLIP也取得了很好的性能。

5.Otter

论文：Otter: A multi-modal model with in-context instruction tuning

一种具有上下文指令调优的多模态模型

简述：本文介绍了多模态模型Otter，它基于DeepMind的Flamingo模型并通过上下文指令调优进行了训练。作者使用类似的方式构建了MultI-Modal In-Context Instruction Tuning（MIMIC-IT）数据集，并展示了Otter在遵循指令和上下文学习方面的优秀能力。

6.MultiModal-GPT

论文：Multimodal-gpt: A vision and language model for dialogue with humans

一种用于与人类对话的视觉和语言模型

简述：本文介绍了一种名为MultiModal-GPT的视觉和语言模型，用于与人类进行多轮对话。该模型可以从人类那里遵循各种指令，例如生成详细的描述、计算感兴趣的对象数量以及回答用户提出的一般问题。作者使用视觉和语言数据构建了多模态指令调优的指令模板，以使模型能够理解和遵循人类的指令。作者还利用仅语言指令跟随数据对MultiModal-GPT进行联合训练，有效地提高了对话性能。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“指令调优”领取全部论文及模型源码

码字不易，欢迎大家点赞评论收藏！

深度之眼
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
大模型训练流程（二）指令微调
qq_43243579的博客
02-20 1885
入门大模型训练的第二步：sft指令微调（从根上学透大模型）
收藏！大语言模型指令调优综述
Kaiyuan_sjtu的博客
09-21 617
后台留言『交流』，加入 NewBee算法讨论组写在前面大模型纵横的时代，不仅大模型越来越卷，就连大模型相关综述也是越来越卷。今天给大家带来一篇大语言模型指令调优最新综述，全名为《Instruction Tuning for Large Language Models: A Survey》，来自知乎@龟壳，刘聪整理。Paper:https://arxiv.org/pdf/2308.10792.pd...
【大模型系列】指令微调
靖待的CSDN博客
04-23 1331
大模型系列之指令微调笔记。
机器学习随记（8）——各大模型调优方式
YoungITの博客
05-23 1312
可以通过调整优化算法的参数，例如，学习率、迭代次数、批量大小等，来寻找最优的超参数组合。调整样本权重和特征权重：可以通过调整subsample和colsample_bytree参数来控制样本和特征的采样比例，以提高模型的鲁棒性和泛化能力。调整核函数的参数：可以通过调整核函数的超参数，例如，高斯核函数的gamma参数和多项式核函数的degree参数等，来寻找最优的超参数组合。调整迭代次数和批量大小：可以通过调整迭代次数和批量大小来控制模型的训练速度和收敛性能，以提高模型的准确率和泛化能力。
CodeGeeX 130亿参数大模型的调优笔记：比FasterTransformer更快的解决方案
I good vegetable a!
03-26 1143
至此，我分享完了我们团队最近加速CodeGeeX百亿参数大模型推理的所有优化技巧，相信对要做LLM大模型的推理的小伙伴会有帮助。本着开源精神，请给oneflow点击star再研究相关优化。此外，更多的优化解读我也会放到个人仓库：https://github.com/BBuf/how-to-optim-algorithm-in-cuda ，欢迎大家关注。
首次：微软用GPT-4做大模型指令微调，新任务零样本性能再提升
gzq0723的博客
04-11 256
关注并星标从此不迷路计算机视觉研究院公众号ID｜ComputerVisionGzq学习群｜扫码在主页获取加入方式计算机视觉研究院专栏作者：Edison_G大模型指令微调水平在不断地提高，这次微软用上了 GPT-4。转自《机器之心》我们知道，从谷歌 T5 模型到 OpenAI GPT 系列大模型，大语言模型（LLMs）已经展现出了令人印象深刻的泛化能力，比如上下文学习和思维链推理。同时为了使得 LL...
一步一步理解大模型：模型调优之P-Tuning
chattyfish的博客
10-09 1437
P-Tuning就是提示调优（Prompt Tuning），主要思想是固定预训练模型的参数，然后在模型的输入端添加可学习的"prompt"（提示）进行调整。这种方法的优点是计算成本低，因为只需要更新少量的参数。它不改变模型，而是通过对提示的优化，让模型输出最佳的结果，相关论文可参考【1】。从原理上讲，是在已训练的模型L的外面再套上一个可训练的模型P，在不改变L的情况下通过优化P，让P(L)最优。因为L的输入实际上就是提示，所以叫提示调优。提示调优可以通过手动实现（不推荐）也可以通过自动训练实现。
模型调优与知识库：有针对性的大模型“训练”
2301_79123320的博客
08-02 515
AI Meetup系列活动 以 AI 应用为主要出发点，探讨 AI 应用在各领域的可能性。本次长沙场活动对AI于新消费/新零售行业融合的实现做了深入探讨，不少与会者都表示受益匪浅。在人工智能时代，只有了解AI本质并能够对其进行创新应用，才能跟得上时代浪潮，借助AI进一步发展自己。如果你也对AI系列活动感兴趣，欢迎关注CSDN活动资讯，第一时间获取相关活动信息，并报名参与！
大语言模型-基于Pytorch实现BioBERT-附项目源码-优质项目实战.zip
最新发布
05-28
大语言模型_基于Pytorch实现BioBERT_附项目源码_优质项目实战
基于机器学习贝叶斯调优的车辆模型预测控制python源码+数据+模型.zip
01-11
基于机器学习贝叶斯调优的车辆模型预测控制python源码+数据+模型.zip基于机器学习贝叶斯调优的车辆模型预测控制python源码+数据+模型.zip基于机器学习贝叶斯调优的车辆模型预测控制python源码+数据+模型.zip基于机器...
BERT-基于Pytorch实现的BERT大语言模型-附项目源码-优质项目实战.zip
05-25
BERT_基于Pytorch实现的BERT大语言模型_附项目源码_优质项目实战
大模型微调-快速微调LLaMA实现-附项目源码+流程教程-优质项目实战.zip
05-21
大模型微调_快速微调LLaMA实现_附项目源码+流程教程_优质项目实战
GPT2-基于Pytorch实现GPT2文本生成大模型算法-附项目源码-优质项目实战.zip
05-28
GPT2_基于Pytorch实现GPT2文本生成大模型算法_附项目源码_优质项目实战
模型中的一些指令
weixin_30625691的博客
11-15 113
1.版本切换指令 　　./manage.py migrate 应用名称 版本号 2.通过数据库自动导出models类 　　./manage.py inspectdb > 文件名.py 转载于:https://www.cnblogs.com/zengsf/p/9966641.html...
数据规模缩小 200 倍！指令微调高效指导大模型学习
夕小瑶科技说
05-22 2467
大模型由于其参数多且复杂，在实际应用中普遍存在训练时间长、计算资源耗费大等问题。为了提高模型的训练和推理效率，需要对模型进行指令微调。指令微调（Instruction tuning）是指在少量数据或有限数据条件下，从已有数据中识别出最有价值的核心样本，并通过微调模型的指令来帮助模型获取下游任务的知识，从而实现可比甚至更好的性能。
第8章 大模型的评估与调优8.3 模型调优实战8.3.1 案例研究：调优策略
禅与计算机程序设计艺术
01-22 384
1.背景介绍 在深度学习领域，模型调优是一个重要的环节，它可以帮助我们提高模型的性能，从而提高模型的准确性和效率。在这篇文章中，我们将讨论模型调优的一些核心概念、算法原理和最佳实践。 1. 背景介绍 模型调优是指在训练过程中，通过调整模型的参数、结构或训练策略来提高模型的性能。在深度学习中，模型调
（七）模型调优
mylnn的博客
10-25 916
Odds Ratio（优势比）：一个事件在一个组发生的可能性相对于在另一个组的大小 Odds（优势）：事件发生的概率与不发生概率之比，值域[0,∞) 1 一元连续变量逻辑回归 X连续变量 Y二分类变量 Logit是Odds的自然对数 logit代表隐变量Y’，X用于预测Y’ 模型评估 模型预测的三种结果：一致对（√）、不一致对、相等对（50%√） 一致对表 statmodels不提供，可用ROC曲线下面积（AUC）代表，AUC就是C统计量 ROC曲线y轴为灵敏度，x轴为1-特异度，曲线越趋向左上方越好
【LLM大模型】指令微调、peft高效参数微调
发现问题，并解决问题，批判性思维
05-07 1万+
LLaMA 是 Meta AI 发布的包含 7B、13B、33B 和 65B 四种参数规模的基础语言模型集合，LLaMA-13B 仅以 1/10 规模的参数在多数的 benchmarks 上性能优于 GPT-3(175B)，LLaMA-65B 与业内最好的模型 Chinchilla-70B 和 PaLM-540B 比较也具有竞争力。通过使用与 ChatGLM（chatglm.cn）相同的技术，ChatGLM-6B 初具中文问答和对话功能，并支持在单张 2080Ti 上进行推理使用。
大语言模型的指令微调（Instruction Tuning）最全综述：从数据集到技术全解析
热门推荐
人工智能曾小健
08-27 1万+
此前，我们已经介绍了大模型的三类微调技术（实际案例说明AI时代大语言模型三种微调技术的区别——Prompt-Tuning、Instruction-Tuning和Chain-of-Thought：https://www.datalearner.com/blog/1051681306547159）。但实际上，大模型的微调还可以分成很多种。从微调的参数规模来说，可以简单分为全参数微调和高效参数微调。前者一般是用预训练模型作为初始化权重，在特定数据集上继续训练，全部参数都更新的方法。
java实现unet模型（附完整源码）
05-26
以下是 Java 实现 UNet 模型的完整源代码。本代码使用 TensorFlow 作为深度学习框架。 ```java import org.tensorflow.Graph; import org.tensorflow.Session; import org.tensorflow.Tensor; import org.tensorflow.op.Ops; public class UNet { private final int imageWidth; private final int imageHeight; private final int numChannels; private final int numClasses; private final Graph graph; private final Session session; private final Ops tf; private final String inputName; private final String outputName; public UNet(int imageWidth, int imageHeight, int numChannels, int numClasses) { this.imageWidth = imageWidth; this.imageHeight = imageHeight; this.numChannels = numChannels; this.numClasses = numClasses; this.graph = new Graph(); this.session = new Session(graph); this.tf = Ops.create(graph); this.inputName = "input"; this.outputName = "output"; buildModel(); } private void buildModel() { // Define input and output nodes tf.placeholder(Float.class, tf.constant(long[]{1, imageHeight, imageWidth, numChannels}), inputName); tf.placeholder(Float.class, tf.constant(long[]{1, imageHeight, imageWidth, numClasses}), outputName); // Encoding path tf.conv2d(inputName, ...); tf.batchNormalization(...); tf.relu(...); tf.conv2d(...); tf.batchNormalization(...); tf.relu(...); tf.maxPool(...); // Decoding path tf.conv2d_transpose(...); tf.concat(...); tf.conv2d(...); tf.batchNormalization(...); tf.relu(...); tf.conv2d_transpose(...); tf.concat(...); tf.conv2d(...); tf.batchNormalization(...); tf.relu(...); // Output layer tf.conv2d(...); tf.softmax(...); } public float[][] predict(float[][][] input) { try (Tensor<Float> inputTensor = Tensor.create(input, Float.class)) { Tensor<Float> outputTensor = session.runner() .feed(inputName, inputTensor) .fetch(outputName) .run() .get(0); float[][] output = new float[1][imageHeight * imageWidth * numClasses]; outputTensor.copyTo(output); return output; } } } ``` 请注意，此代码仅为示例代码，并且未显示完整的模型定义。您需要根据您的任务和数据集更改模型定义。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值