大模型-微调与对齐-指令微调-指令数据构建

最新推荐文章于 2025-04-18 14:12:31 发布
最新推荐文章于 2025-04-18 14:12:31 发布
阅读量1.1k 收藏 8
点赞数 12
分类专栏： 大模型 文章标签： 自然语言处理 人工智能 深度学习 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sgliquangang/article/details/143163078
版权

一、指令微调简介

1、定义

指令微调又称监督微调、多任务提示训练，即使用自然语言方式对预训练模型进行参数微调

2、过程

（1）收集或构建指令化实例
（2）通过有监督的方式对大模型进行参数微调

3、指令实例组成

（1）任务描述（也称为指令）
（2）任务输入-任务输出
（3）可选的示例

3、指令数据构建方式

（1）基于现有的NLP任务数据集构建
（2）基于日常对话数据构建
（3）基于合成数据构建

二、基于现有的NLP数据集构建指令数据

1、主要工作
  • 增加任务描述，用于指导模型理解任务目标及相关信息
2、效果

经过NLP指令数据微调后，大模型可以学习到指令遵循的能力，进而可以解决没见过的NLP任务

3、提升方式
  • 使用众包平台PromptSource，提升任务描述标注质量
  • 设计特定的任务描述来反转现有实例的输入-输出对，从而进一步丰富训练实例
4、数据集推荐
  • 常见的NLP数据集：FLAN、P3、Super-Natural Instructions
  • 首选：FLAN v2
    • 谷歌研究人员按照一定比例混合了以上三个数据集合和思维链数据

三、基于日常对话数据构建指令数据

1、出现原因

NLP数据集多样性局限，与人类真是需求匹配度低，为此研究人员开始使用日常对话中的实际需求作为任务描述

2、数据构建方式
  • 将用户真实使用大模型过程产生的数据进行整理
  • 一组标注人员制作输入，另一组标注人员制作输出，然后组成输入-输出对，组合成最终的指令数据集

四、基于合成数据构建指令数据

1、简介

为了减轻人工标注与数据收集的负担，提出的一种半自动化数据合成的方法。

2、实现方式

借助已有的高质量指令数据作为上下文学习示例输入打磨新，进而生成大量多样化的任务描述和输入-输出数据

3、代表性指令数据集
  • Self-Instruct：仅需要使用100多个人工撰写的实例作为初始任务池，然后随机选择数据作为示例，就可以通过大模型生成新的指令微调数据
  • Evo1-Instruct：通过基于深度和广度的演化来提高实例的复杂性和多样性，解决Self-Instruct生成实例过于简单、缺乏多样性问题
  • Self-Align：设计了多中基于人类对齐原则的合成数据过滤技术，通过上下文提示让ChatGPT能够筛选出高质量的实例数据来训练新模型，并进一步让新模型产生更多的与人类对齐的指令微调数据
  • 使用指令回译技术的指令集：使用指令回译技术提升输出文本质量，使用现有文本作为输出，然后利用上下文学习逆向合成输入指令。由于输出内容都是人工撰写的，该方法能让大模型学习生成准确且流畅的文本

五、指令数据构建的提升方法

1、方案
  • 指令格式设计
  • 拓展指令数量
  • 指令重写与筛选
2、指令格式设计
  • 方式：
    • 增加适当数量的实例作为上下文示例一起作为模型输入，提升模型实际性能，缓解模型对于指令格式的敏感性
    • 在指令微调数据中引入思维链数据，例如算术推理的过程
  • 注意点：
    • 指令数据不是包含信息越多越好
    • 添加某些看似有用的信息，比如需要避免的事项、原因或建议，可能不会带来正向的效果提升，甚至会带来负面影响
3、拓展指令数量
  • 方法：逐步拓展指令数量，0.18M、 5.55M、 7.2M以及 17.26M，模型性能会随之上升，但是当指令数据达到7.2M之后，模型性能提升非常缓慢。
  • 日常对话能力提升：一定数量的高质量指令就可以激活大模型的对话能力
  • 兼顾NLP任务可对话场景：基于FLAN-T5的大规模指令集进行拓展，让GPT-4和ChatGPT逐步回答每一个问题，得到5M合成实例，可用于加强下游模型的逐步推理能力
4、指令重写与筛选
  • 方法：使用一些重写或者筛选机制，来提高指令数据的质量或者多样性
  • 指令重写示例数据集
    • Evo1-Instruct：使用深度演化和广度演化策略来重写指令，使指令变得更加复杂、困难和多样
    • YuLan-Chat-3：主体多样性增强方法，预先收集大量主题标签，然后随机选择一种并使用ChatGPT对指令进行重写来适配到相应的主题，最后进行质量筛选来获取高质量的多样性指令数据
  • 指令筛选示例数据集
    • Alpa-gasus：使用GPT-4从原始的52k数据中筛选出GPT-4评分较高的9千条，使用这9千条数据进行训练的，能达到与原始52k数据一样的效果
    • YuLan-Chat-3：提出平衡指令难度策略，用大模型的困惑程度来估算指令数据的难度水平，删除过于简单或困难的指令数据，从而缓解大模型训练不稳定或者过拟合的现象
5、总结
  • 指令的质量比数量重要
  • 指令微调时应优先使用人工标注的多样性指令数据

六、指令微调的作用

1、整体任务性能提升
  • 增强或解锁大模型能力，随着指令数据量的增加，能力会更好
  • 经过指令微调的小模型，比没有经过微调的大模型更出色
  • 在不同的模型架构、预训练目标、模型微调方法上都有一定增益，是一种通用的模型能力增强方法
  • 与预训练相比，指令微调成本更低，指令数据量仅为预训练阶段的万分之一甚至更少
2、任务求解能力增强
  • 大模型能获得较好的指令遵循与任务求解能力，无需下游任务的训练样本或示例就可以解决训练中未见过的任务
  • 缓解预训练阶段出现的一些问题，比如生成重复内容或仅仅补全输入而不解决相关任务
  • 使用英文指令微调的大模型，可以将能力泛化到其他语言的相关任务上
3、领域专业化适配

使用特定领域的指令进行微调，提升特定领域模型效果

指令数据的构建
weixin_43961909的博客
07-30 299
此外，Self-Align 设计了多种基于人类对齐原则的合成数据过滤技术，该方法通过上下文提示让 ChatGPT 能够筛选出高质量的实例数据来训练新的模型，并进一步让新训练的模型产生更多与人类对齐的指令微调数据。指令微调过程需要首先收集或构建指令化的实例，然后通过有监督的方式对大语言模型的参数进行微调。进一步，谷歌的研究人员按照一定的比例混合了这三个数据集合和思维链数据，推出了包含约 20M 条实例的指令微调数据集合 FLAN v2，该数据集合目前是面向 NLP 任务微调大模型的首选指令集合。
LLM - 理解 多模态大语言模型(MLLM) 的 指令微调(Instruction-Tuning) 与相关技术 (四)
AGI
09-14 1420
预训练(Pre-Training) 是 对齐不同模态和学习多模态的世界知识。指令(Instruction) 就是对于任务的描述，指令微调，教会模型更好地，理解用户的指令，并且完成所需的任务。通过这种方式调优，大语言模型(LLM) 可以通过跟随新的指令，泛化到未见过的任务，从而提高 零样本(Zero-Shot) 性能。
大模型微调发展-学习调研总结
weixin_44077556的博客
10-22 9762
针对于小公司，如何能够利用开源的大模型，在自己的数据上继续训练，从而应用于自己的业务场景？或低成本的方法微调大模型。目前主流的方法包括2019年Houlsby N等人提出的, 2021年微软提出的，斯坦福提出的，谷歌提出的, 2022年清华提出的方法各自都有自己的特点，从个人使用情况来说，LORA的效果会好与其他几种方法。
一文读懂大模型微调 - 指令微调(附完整代码)
最新发布
m0_48891301的博客
04-18 1318
大模型指令微调(Instruction Tuning)是让通用预训练语言模型(如GPT、LLaMA等)适应具体任务或人类指令的核心技术。核心思想是，通过制作’指令-输入(可选)-输出’格式的数据，对预训练模型进行二次训练，使其能够理解并执行自然语言指令，而非仅依赖预训练阶段的文本补全能力。指令微调是让模型学习 [Human提问 - Assistant回答] 的交互模式；通过标签设计(-100)，让模型只学习生成Assistant部分的内容；
指令微调数据集构建方法
产品老A，7年互联网大厂AIPM，专注探索新型人机交互
06-23 4183
指令微调（Instruction Tuning），是指使用自然语言形式的数据对预训练后的大语言模型进行参数微调，在一些文章中也称为有监督微调（Supervised Fine-tuning，SFT）或多任务提示训练（Multitask Prompted Training）。指令微调的第一步就是收集或构建指令化的实例，然后通过有监督的方式对LLM的参数进行微调，经过指令微调后，大语言模型能够展现出较强的指令遵循能力，可以通过零样本学习（zero-shot）的方式解决多种下游任务。
大模型指令如何用？看这三板斧！
AI_Platform的博客
07-13 2471
当然，除了使用以上通用的公式撰写指令之外，如果你还希望星火认知大模型帮助你完成更具个性化的工作，需要根据需求不断调整指令，以达到对星火认知大模型“调教”的目的。选择给大模型赋予一个角色，这个角色可以是某个人、也可以是某种工具，只要提供有关它的说明、角色行为、技能等描述，即可输出符合角色的行为。不过，单个词语或一句话，并没有解决你生活工作中遇到的实际问题，也并不能充分发挥大模型的优势。现实生活中，当我们向别人描述一件事时，会讲述这件事的背景及细节，以增加对方对事件的了解，向大模型发送一个合格的指令也是如此。
最全 高质量大模型 -指令调优数据集（2024-11-15已更新）
u011559552的博客
09-13 2374
遇见数据集，国内领先的百万级数据集搜索引擎，实时追踪全球数据集市场，助力把握数字经济时代机遇。
大模型指令微调数据集（自用）
m0_73984272的博客
08-15 710
LAMM-Dataset 包括一个包含 186,098 个图像语言指令-响应对的图像指令调整数据集和一个包含 10,262 个点云语言指令-响应对的点云指令调整数据集。中提出了全新多图多轮评测基准MMDU及大规模指令微调数据集MMDU-45k，旨在评估和提升LVLMs在多轮及多图像对话中的性能。-----虽然主要关注点可能不在图像上，但作为一个大规模的指令微调数据集，它可能包含涉及图像理解的任务。（LVLMs）的核心能力之一是生成自然且有意义的回答，从而能够与人类进行流畅的图文对话。为此，研究团队在论文。
九天-139MoE-Chat是中国移动自主研发的语言大模型，实现数据构建、预训练、微调、部署全链路核心技术自主创新
10-30
通过自主研发，实现了从数据构建到预训练，再到微调和部署的全链路核心技术。这一全链路的创新模式不仅提升了模型的性能，也增强了中国移动在全球通信技术领域的竞争力。 该模型的一个显著特点是行业定向增强功能，...
self-instruct 自动生成指令数据
12-13
SELF-INSTRUCT 的出现，降低了对大规模、高质量人类编写指令数据的依赖，同时，通过发布合成的大规模数据集，为未来关于指令微调的研究提供了宝贵的资源。这种方法有望推动大模型在理解和执行任务指令方面的边界，...
从零构建大语言模型全栈开发指南：第三部分：训练与优化技术-3.3.1指令微调（Instruction Tuning）与人类反馈强化学习（RLHF）
kngines
03-27 86
从零构建大语言模型全栈开发指南：第三部分：训练与优化技术-3.3.1指令微调（Instruction Tuning）与人类反馈强化学习（RLHF）
AI大模型探索之路-训练篇25：ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库
寻道AI，探索AI无限可能！
05-20 1万+
在当前信息技术迅猛发展的时代，知识库的构建与应用已成为企业竞争的关键。随着自然语言处理技术的不断进步，基于微调的企业级知识库改造落地方案受到越来越多的关注。在前面的系列篇章中我们分别实践了基于CVP架构-企业级知识库实战落地和基于基于私有模型GLM-企业级知识库开发实战；本文将深入探讨和实践一种基于微调技术的企业级知识库改造方法，以期为企业提供更加高效、安全和可靠的知识管理解决方案。
【LLM】self-instruct 构建指令微调数据集
发现问题，并解决问题，批判性思维
07-18 7031
四部曲：指令生成；分类任务识别；实例生成；过滤和后处理。 为了实证评估SELF-INSTRUCT，在GPT3（Brown等人，2020）上运行该框架，在这个模型上的SELF-INSTRUCT迭代过程产出了大约52K条指令，以及大约82K个实例输入和目标输出对。结果数据提供了多种多样的创造性任务，其中50%以上的任务与种子指令的重合度低于0.3 ROUGE-L（§4.2）。可以利用生成的指令数据微调其他大模型。 二、具体过程 1. 指令生成 175个种子任务（每个对应1个指令+1个实例），从该任务池中随机抽取
指令微调数据集整理
dzysunshine的博客
05-25 7329
第一期总共发布了 5 个子数据集，包括翻译指令、考试指令、人类价值观对齐指令、反事实修正多轮聊天、Leetcode指令，总计 191k 数据，聚焦中文语料、数据类型多样、经过了人工质检与修正、数据质量可靠，而且可以商用。经过人工精调的中文对话数据集，加入除了alpaca之外的其他中文聊天对话 人工微调，部分并不中文化的问题，我们将重新询问chatgpt或文心一言，重新获取回答并覆盖掉alpaca的回答.52K 条指令中的每一条都是唯一的,答案由text-davinci-003模型生成得到的。
大模型学习笔记 - InstructGPT中的微调与对齐
m0_37531129的博客
08-04 1966
LLM 我们不一定要预训练模型，但是一定要会微调。InstructGPT更是微调的最经典的文章。这里详细介绍InstructGPT的微调技术。
构建一个指令数据集并上传到Hugging face
老皮的博客
01-28 1229
今天我的目标是从维基百科的文本中创建一个指令数据集。但首先，什么是？指令数据集是用于LLM微调的数据集。在预训练之后，LLM不能回答实际的问题；它们只能背诵知识。这就是为什么它们训练的第二步是指令部分——训练它们回答实际问题。为此，我们需要一个指令数据集，该数据集包含一列问题和一列答案。
如何从任何文档生成指令数据集以进行LLM微调
liferecords的博客
03-14 4166
这种选择背后的动机源于一种观察，即像 ChatGPT 这样的工具往往难以掌握特定领域的知识，尤其是特定行业和卢森堡等较小国家的监管要求。通过说明，人们可以引导讨论，确保模型的回复是相关的、有用的，并且符合用户的需求。这种量身定制LLM将使我能够理解潜在的监管要求，回应有关这些要求的询问，并最终将其效用扩展到更广泛的应用，例如风险管理、影响评估和持续监控。这也是一个关键的步骤，可以显着影响微调模型的性能。这是我用我的文档创建的数据集，当然，在微调过程之前，它需要一些进一步的清理和改进，以确保其质量和性能。
没有标记数据集，如何做大模型指令微调？介绍一款有潜力的标记数据集生成模型
m0_59164304的博客
06-29 1397
在构建大模型应用时，通常有两种方式来改进效果，一种是构建外部知识库，利用RAG来完成。但RAG并不是万能的，对于特定领域的LLM应用，以及无需示例，就能完成特定任务等场合就需要进行微调。然而，微调本身相较于RAG来讲，需要更多的算力资源和时间周期，但更大的瓶颈在于微调需要标记过的样本数据。这对于很多企业来讲，很难有这样高质量的数据积累，他们的数据通常是未经标记的，可能是一篇一篇的文章或者规章制度，并不是以问答对的方式而存在。
【大模型理论篇】大模型微调之指令微调(Instruction Fine-Tuning)
热门推荐
源泉的小广场
08-27 1万+
指令微调、大模型、instruction fine-tuning、监督微调、微调技术、大模型微调、llm fine tune、指令数据集、prompt、微调实战、Alpaca、llama2微调
LLava模型指令微调
03-24
<think>好的，我现在需要回答用户关于如何对LLaVA模型进行指令微调的问题。用户提到了LLaVA-CoT，并引用了相关的引用资料，我需要结合这些信息来构建回答。 首先，我得确认LLaVA模型的基本结构。根据引用[1]，模型最终调用的是LlavaLlamaForCausalLM的forward方法，这说明LLaVA可能基于Llama架构，结合了视觉和语言模块。接下来，用户提供的引用[3]提到LLaVA-CoT使用Llama-3.2-11BVision-Instruct作为基础模型，因此微调可能需要同时处理视觉和文本数据。 接下来，指令微调的关键步骤通常包括数据准备、模型结构调整、训练参数设置等。需要参考引用[3]中的论文和数据地址，了解他们使用的数据集结构，比如是否有多轮对话或特定任务的数据。同时，引用[2]提到传统方法与LLMs协同工具的新范式差异，这可能涉及到如何设计指令数据以促进多模态交互。 然后，具体的微调方法可能包括联合训练视觉编码器和语言模型，或者冻结部分模块以减少计算量。需要检查引用中的资料是否有提到这些策略。例如，LLaVA-CoT可能采用特定的指令格式，如将图像转换为标记，并与文本指令结合输入模型。 此外，注意事项部分需要涵盖数据质量、评估方法、计算资源等。引用[3]的数据地址可能提供了清洗和增强多模态数据的示例，而论文可能讨论了评估指标，如任务完成率或人类评估。 最后，生成相关问题时要考虑用户可能感兴趣的扩展方向，比如与其他模型的对比、计算资源需求、实际应用中的挑战等。需要确保问题覆盖了用户可能深入探讨的各个方面。</think>### LLaVA模型指令微调方法及指南 LLaVA模型的指令微调需要结合视觉-语言对齐与任务指令响应能力，以下是关键步骤和要点： 1. **数据准备** - 使用多模态指令数据集（如LLaVA-CoT-100k[^3]），包含图像-文本对和任务指令描述 - 数据格式示例： ```python { "image": "image_path.jpg", "instruction": "描述图中的场景并分析物理现象", "output": "图中显示..." } ``` 2. **模型架构适配** - 冻结视觉编码器（如CLIP-ViT），仅微调语言模型部分[^1] - 通过线性投影层连接图像特征与文本嵌入空间 - 修改输入处理模块以支持多模态指令格式 3. **训练参数设置** - 典型超参数配置： ```python { "learning_rate": 2e-5, "batch_size": 32, "max_length": 512, "warmup_ratio": 0.03 } ``` - 采用混合精度训练和梯度裁剪（阈值1.0） 4. **指令格式设计** - 多轮对话模板： ``` <image>USER: {指令}<0x0A>ASSISTANT: ``` - 支持复杂推理任务的COT（Chain-of-Thought）格式[^3] 5. **评估与迭代** - 使用视觉问答（VQA）基准测试 - 人工评估指令跟随能力和事实一致性 - 通过A/B测试对比不同指令模板效果 **关键注意事项**： - 图像分辨率需与视觉编码器预训练设置保持一致 - 指令多样性应覆盖目标应用场景 - 需平衡视觉理解与语言生成损失权重 - 建议采用渐进式解冻策略（先文本后视觉模块）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值