一文彻底搞懂大模型 - Fine-tuning三种微调方式

于 2024-09-13 10:21:23 发布
阅读量1k 收藏 27
点赞数 21
文章标签： 深度学习 人工智能 机器学习 金融 大数据 产品经理 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85325726/article/details/142203610
版权

图片

在生成式AI和大语言大模型（如GPT、LLaMA）的广泛应用中，微调（Fine-tuning）作为模型适应特定任务的关键步骤，其重要性不言而喻。以下将详细介绍三种流行的微调方式：Prompt-tuning、Prefix-tuning和LoRA，深入理解每种方法的原理、特点及应用场景。

图片

方式一：Prompt-tuning

什么是Prompt-tuning？Prompt-tuning通过修改输入文本的提示（Prompt）来引导模型生成符合特定任务或情境的输出，而无需对模型的全量参数进行微调。

这种方法利用了预训练语言模型（PLM）在零样本或少样本学习中的强大能力，通过修改输入提示来激活模型内部的相关知识和能力。

图片

核心原理：PLM（预训练模型）不变，W（模型的权重）不变，X（模型输入）改变。

图片

如何进行Prompt-tuning？小模型适配下游任务

设计任务相关提示模板，并微调提示嵌入以引导预训练模型适应特定任务。仅需微调少量提示嵌入（Prompt Embeddings），而非整个模型参数。
图片

  1. 设计提示模板：

    • 模板中应包含任务描述、输入文本占位符、输出格式要求等元素。

  3. 准备数据集：

    • 数据集应包括输入文本、真实标签（对于监督学习任务）或预期输出格式（对于生成任务）。

  5. 微调提示嵌入：

    • 在预训练模型的输入层添加提示嵌入层，使用数据集对模型进行训练，特别是微调提示嵌入。

图片

方式二：Prefix-tuning

什么是Prefix-tuning？Prefix-tuning是Prompt-tuning的一种变体，它通过在输入文本前添加一段可学习的“前缀”来指导模型完成任务。

这个前缀与输入序列一起作为注意力机制的输入，从而影响模型对输入序列的理解和表示。由于前缀是可学习的，它可以在微调过程中根据特定任务进行调整，使得模型能够更好地适应新的领域或任务。
图片

Prefix-tuning

核心原理：PLM（预训练模型）不变，W（模型的权重）不变，X（模型输入）不变，增加W’（前缀嵌入的权重）。

图片

如何进行Prefix-tuning？在 Transformer 中适配下游任务

在Transformer模型的输入层或各层输入前添加可学习的前缀嵌入，并通过训练这些前缀嵌入来优化模型在特定任务上的表现。

  1. 初始化前缀嵌入

    • 在Transformer模型的输入层之前，初始化一个固定长度的前缀嵌入矩阵。

  3. 将前缀嵌入与输入序列拼接

    • 将初始化好的前缀嵌入与原始输入序列的词嵌入进行拼接，形成新的输入表示。这个新的输入表示将作为Transformer模型各层的输入。

  5. 训练模型

    • 在训练过程中，模型会根据输入序列（包括前缀嵌入）和标签数据进行学习。通过反向传播算法，模型会更新前缀嵌入的参数。

图片

方式三：LoRA

什么是LoRA？LoRA（Low-Rank Adaptation）通过分解预训练模型中的部分权重矩阵为低秩矩阵，并仅微调这些低秩矩阵的少量参数来适应新任务。
对于预训练权重矩阵W0∈Rd×d𝑊0∈𝑅𝑑×𝑑，LoRa限制了其更新方式，即将全参微调的增量参数矩阵ΔWΔ𝑊表示为两个参数量更小的矩阵A、B，即ΔW = AB。

其中，B∈Rd×r𝐵∈𝑅𝑑×𝑟和A∈Rr×d𝐴∈𝑅𝑟×𝑑为LoRA低秩适应的权重矩阵，秩r𝑟远小于d𝑑。

图片

LoRA

核心原理：W（模型的权重）不变，X（模型输入）不变，分解Δ\W（分解为两个低秩矩阵A、B）。

图片

LoRA

如何进行LoRA微调？在冻结预训练模型权重的基础上，通过优化算法训练低秩矩阵A和B以近似增量参数，最小化下游任务损失，从而实现高效的模型微调。

  1. 设置LoRA模块

    • 在预训练模型的基础上，添加LoRA模块。LoRA模块通常包含两个参数量较少的矩阵A和B，它们的乘积用于近似全参数微调中的增量参数。
    • 初始化矩阵A和B，通常使用高斯函数进行初始化，以确保训练开始时LoRA的旁路（即BA）为0，从而与全参数微调有相同的起始点。

  3. 训练LoRA模块

    • 在训练过程中，冻结预训练模型的权重，仅训练LoRA模块中的矩阵A和B。
    • 通过优化算法（如Adam）更新矩阵A和B的参数，以最小化下游任务的损失函数。

图片

LoRA

LLaMA-Factory通过集成LoRA微调方法，为大型语言模型提供高效、低成本的微调方案，支持多模型、多算法和实时监控，仅训练低秩矩阵实现快速适应新任务。
图片

LLaMA-Factory

LoRA参数主要包括秩（lora_rank，影响性能和训练时间）、缩放系数（lora_alpha，确保训练稳定）和Dropout系数（lora_dropout，防止过拟合），它们共同影响模型微调的效果和效率。

图片

1. 秩（Rank）
  • 参数名称：lora_rank
  • 描述：秩是LoRA中最重要的参数之一，它决定了低秩矩阵的维度。
  • 常用值：对于小型数据集或简单任务，秩可以设置为1或2；对于更复杂的任务，秩可能需要设置为4、8或更高。
2. 缩放系数（Alpha）
  • 参数名称：lora_alpha
  • 描述：缩放系数用于在训练开始时对低秩矩阵的更新进行缩放。
  • 常用值：缩放系数的具体值取决于秩的大小和任务的复杂度。
3. Dropout系数
  • 参数名称：lora_dropout
  • 描述：Dropout系数决定了在训练过程中随机丢弃低秩矩阵中元素的概率。
  • 常用值：Dropout系数的常用值范围在0到1之间。

图片

零基础如何学习大模型 AI

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型典型应用场景

①AI+教育：智能教学助手和自动评分系统使个性化教育成为可能。通过AI分析学生的学习数据，提供量身定制的学习方案，提高学习效果。
②AI+医疗：智能诊断系统和个性化医疗方案让医疗服务更加精准高效。AI可以分析医学影像，辅助医生进行早期诊断，同时根据患者数据制定个性化治疗方案。
③AI+金融：智能投顾和风险管理系统帮助投资者做出更明智的决策，并实时监控金融市场，识别潜在风险。
④AI+制造：智能制造和自动化工厂提高了生产效率和质量。通过AI技术，工厂可以实现设备预测性维护，减少停机时间。

⑤AI+零售：智能推荐系统和库存管理优化了用户体验和运营成本。AI可以分析用户行为，提供个性化商品推荐，同时优化库存，减少浪费。

⑥AI+交通：自动驾驶和智能交通管理提升了交通安全和效率。AI技术可以实现车辆自动驾驶，并优化交通信号控制，减少拥堵。

…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。

学习资料领取

如果你对大模型感兴趣，可以看看我整合并且整理成了一份AI大模型资料包，需要的小伙伴文末免费领取哦，无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
在这里插入图片描述

部分资料展示

一、 AI大模型学习路线图

整个学习分为7个阶段
在这里插入图片描述

二、AI大模型实战案例

涵盖AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，皆可用。
在这里插入图片描述

三、视频和书籍PDF合集

从入门到进阶这里都有，跟着老师学习事半功倍。
在这里插入图片描述

在这里插入图片描述

四、LLM面试题

在这里插入图片描述

如果二维码失效，可以点击下方链接，一样的哦
【CSDN大礼包】最新AI大模型资源包，这里全都有！无偿分享！！！

😝朋友们如果有需要的话，可以V扫描下方二维码联系领取~
在这里插入图片描述

AI小白熊
关注
七、大模型-什么是Fine-tuning
xiaoqi270620903的专栏
03-20 2553
Fine-tuning 是指在一个已经训练好的模型基础上，通过使用新的数据集或任务来进一步调整模型参数的过程。通常情况下，已经训练好的模型是在大规模数据集上进行训练得到的，而 Fine-tuning 则可以使模型适应新的特定任务或数据集。
【AI大模型应用开发】【Fine-Tuning】0. 从一个例子开始学习大模型Fine-Tuning
同学小张的博客
02-23 1686
我们从一个简单的例子入手，先来感受下Fine-Tune微调到底是什么。这个例子可以在笔记本电脑上跑，需要的配置不高。在开始本文的实践案例前，你可以对模型训练一窍不通，本文将带你跑通整个过程，同时解释其中一些概念。
cs231n-(9)迁移学习和Fine-tune网络
KangRoger的专栏
02-18 7096
介绍适合fine-tune的场景，以及方法。
【大模型开发 】 一文搞懂Fine-tuning（大模型微调）
热门推荐
qq_39172059的博客
03-13 3万+
本文将从三个方面，带您一文搞懂。一、微调的定义大模型微调是利用特定领域的数据集对已预训练的大模型进行进一步训练的过程。它旨在优化模型在特定任务上的性能，使模型能够更好地适应和完成特定领域的任务。二、微调的核心原因定制化功能：微调的核心原因是赋予大模型更加定制化的功能。通用大模型虽然强大，但在特定领域可能表现不佳。通过微调，可以使模型更好地适应特定领域的需求和特征。领域知识学习：通过引入特定领域的数据集进行微调，大模型可以学习该领域的知识和语言模式。这有助于模型在特定任务上取得更好的性能。
大模型初学之finetune的一个小example
sagewbx的博客
01-10 521
以下这段代码中的微调（Fine-tuning）主要体现在以下几个方面(gpt生成，正确性未考证)： 加载预训练模型：代码中的 model 通常是在像ImageNet这样的大型数据集上预先训练过的。微调通常涉及到在更小的、特定任务的数据集上进行较短时间的训练。修改最后的层：对于微调，我们通常会替换预训练模型的最后一层（或几层），以适应我们的特定任务（例如改变输出类的数量）。的层（可选）：有时，在微调中，模型的早期层会被冻结，只有新添加的该项目中，只有最后一个全连接层没有被冻结。
大模型-DeltaTuning：①增量式（原模型参数不变，插入可微调参数层）、②指定式（原模型参数冻结一部分参数，微调一部分参数）、③重参数化式（将原模型参数层改造，比如插入低秩）
u013250861的博客
06-09 377
2022年11月30日，ChatGPT发布至今，国内外不断涌现出了不少大模型，呈现“百模大战”的景象，比如ChatGLM-6B、LLAMA、Alpaca等模型及在此模型基础上进一步开发的特定领域的大模型。今年3月15日，GPT-4发布后，也出现了一些的大模型，比如百度的文心一言、讯飞星火认知大模型等等。要想训练一个针对特定领域的大模型，如果采用全量参数。
【论文笔记】SpotTune: Transfer Learning through Adaptive Fine-tuning
缘来如此
04-22 3308
【CVPR2019】SpotTune: Transfer Learning through Adaptive Fine-tuning 论文链接：SpotTune: Transfer Learning through Adaptive Fine-tuning 一. Introduction 使用深度学习模型时，微调(fine-tune)是应用最普遍的迁移学习方法。它具体指先在源任务上...
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
女王の专属领地
01-20 8456
检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
LLM微调 | Adapter: Parameter-Efficient Transfer Learning for NLP
weixin_43646592的博客
07-31 1496
LLM微调 | Adapter: Parameter-Efficient Transfer Learning for NLP
总结：一文搞懂chatGPT原理
04-27
指令微调 (Instruction Fine-Tuning，IFT) 有监督微调 (Supervised Fine-tuning, SFT) 人类反馈强化学习 (Reinforcement Learning From Human Feedback，RLHF) 其他方法 思维链 (Chain-of-thought，CoT) 与...
fine-tuning介绍
01-20
在深度学习过程中，获取数据集后，在训练自己的网络之前，用别人现有的网络进行fine-tuning（微调），然后训练。在实践中，由于数据集不够大，很少有人从头开始训练网络，常见的做法是使用预训练的网络来重新fine-tuning（微调），或者当做特征提取器。fine-tuning是迁移学习的一种手段（方法）。 Transfer Learning Definition Ability of a system to recognize and apply knowledge and skills learned in previous domains/tasks to novel domains/t
fine-tuning
听笙
01-27 3045
JLU-IPVR 听笙 首先解释一下什么叫fine-tuning，基于一个训练好的caffe模型使用自己的数据，利用训练好的模型的权重参数值，通过修改最后一层的参数和输出类别，训练出一个适合自己数据的模型。 在实际学习的和做工程的过程中我们会遇到一个问题，就是数据量的问题，我们很难采集到大量的数据，因为我们都知道做深度学习需要使用到大量的数据，但是在我们之前已经有很多大牛，神犇为我们做了很多
用通俗易懂的方式讲解：大模型微调方法总结
机器学习社区
01-13 2674
自然语言处理目前存在一个重要范式：一般领域数据的大规模预训练，对特定任务或领域的适应（finetune）。但是随着预训练语言模型越来越大，这个范式存在以下问题：● 当我们 finetune 大模型时，由于训练成本太高，不太可能重新训练所有模型参数● 以前的方法（论文发表于 2021 年）都或多或少有其它性能问题，如 adapter 增加了模型层数，引入了额外的推理延迟；prefix-tuning 比较难训练，效果不如直接 finetune。
大模型面试准备（七）：一文搞懂 Fine-tuning（大模型微调）
最新发布
2401_84033492的博客
04-05 1581
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。本文将从Fine-tuning的本质、Fine-tuning的原理、Fine-tuning的应用三个方面，带您一文搞懂大模型微调：Fine-tuning。
大模型微调（fine-tunning)
Msc30839573的博客
02-18 1524
用好大模型的第一个层次，是掌握，第二个层次，是，这也是今天这篇文章的主题。补充：prompt engineeringPrompt Engineering（提示工程）是一种技术方法，用于设计和构建基于语言模型的对话系统。它的目标是通过设置合适的提示（prompt）或问题，来引导模型生成期望的回复或响应。在对话系统中，通常需要指定用户的输入（prompt）以及期望的输出。Prompt Engineering 的思想是利用这些输入和输出的组合来设计一个能够产生符合预期回复的模型。
定制你的专属大模型 Finetuner+体验开启！
Jina AI 的博客
04-17 1085
如 ChatGPT、GPT4 这样的大型语言模型就像是你为公司请的一个牛人顾问，他在 OpenAI、Google 等大公司被预训练了不少的行业内专业知识，所以加入你的公司后，你只需要输入 Prompt 给他， 介绍一些业务上的背景知识，他就能马上上手干活了。然而，由于这个顾问专家不是你们公司所独有的，最重要的是你们之前没有签订任何数据安全协议，他既不能保证数据安全，也不能保证内容受控不外流。此外，...
【Tensorflow】Fine-tuning
littlemichelle
08-19 410
讲模型保存的：https://cv-tricks.com/tensorflow-tutorial/save-restore-tensorflow-models-quick-complete-tutorial/ fine-tuning 使用已经预训练好的模型，自己fine-tuning。 1、首先获得pre-traing的graph结构，saver = tf.train.import_meta...
GPT-3微调指南：使用OpenAI API进行fine-tuning
“微调fine-tuning.pdf”主要探讨了针对预训练语言模型，特别是GPT系列（如GPT-3）的微调技术。微调是将预训练模型应用于特定任务或领域的一种方法，通过在目标任务的小规模数据集上进行额外的训练，以优化模型性能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值