LlamaFactory可视化微调大模型 - 参数详解

最新推荐文章于 2024-08-05 16:21:37 发布
最新推荐文章于 2024-08-05 16:21:37 发布
阅读量778 收藏 10
点赞数 26
文章标签： ai大模型 人工智能 prompt 大语言模型 llama llama factory 大模型微调
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/python122_/article/details/140708481
版权

LlamaFactory 前言

LLaMA Factory 是一个用于微调大型语言模型的强大工具，特别是针对 LLaMA 系列模型。

可以适应不同的模型架构和大小。

支持多种微调技术，如全参数微调、LoRA（ Low-Rank Adaptation ）、QLoRA（ Quantized LoRA ）等。

还给我们提供了简单实用的命令行接口。

支持多 cpu 训练，多任务微调，还有各种内存优化技术，如梯度检查点、梯度累积等。

支持混合精度训练，提高训练效率。

本文不再赘述 LlamaFactory 的安装过程

LlamaFactory参数基本设置

打开我们 LlamaFactory 的 web 运行界面，进入根目录执行下列命令：

llamafactory-cli webui

看到下列界面

图片

在浏览器打开我们开启的 webui 界面 http://127.0.0.1:7860：

图片

我们依次来解释每个参数的选择：

这里是语言选择

选择 zh 即可。

图片

模型选择选择适合自己的模型，这里都会从 Hugging Face 里面下载，

图片

这一步是自定义路径一般就用选择好的默认路径即可。

图片

微调方法：

这里有三种，full全参数微调， Freeze（冻结部分参数） LoRA（Low-Rank Adaptation），还有 QLoRA 等。

全参数微调可以最大的模型适应性，可以全面调整模型以适应新任务。通常能达到最佳性能。

Freeze 训练速度比全参数微调快，会降低计算资源需求。

LoRA ：显著减少了可训练参数数量，降低内存需求，训练速度快，计算效率高。还可以为不同任务保存多个小型适配器，减少了过拟合风险。

QLoRA训练速度跟 LoRA 差不多，基本保持了 LoRa 的优势，会进一步减少内存使用。

综合速度，灵活性考虑 选择 LoRA 或者 QLorRA 。

图片

检查点路径：

检查点是模型训练过程中的一个快照，保存了模型的权重、优化器状态等信息。

主要用于保存训练进度允许从中断点恢复训练，性能评估等。

图片

LlamaFactory参数高级设置

量化等级

量化等级有8位量化（ INT8）和4位量化（ INT4 ），QLoRA 它允许在使用低位量化（如4位）的同时，通过 LoRA 方法进行高效的微调。

图片

量化方法

bitsandbytes 与 hqq：

Bitsandbytes：内存效率高，可以显著减少 GPU 内存使用

Hqq: 提供更多的量化选项和更细粒度的控制,使用可能稍微复杂一些，需要更多的配置。

图片

提示模板

就是构建结构化输入的一种方式，好的提示模板可以显著提高模型的性能和适用性，为了适应不同的需求，我们要自定义模板。

图片

RoPE 插值方法：

线性插值和动态 NTK 缩放，线性插值简单直观，动态 NTK 缩放更灵活，可以适应不同长度的输入。

图片

加速方式

auto，unsloth，flashattn2。

auto自动模式会根据你的硬件配置和当前的训练任务自动选择最适合的加速技术。这是最简单的一种方式，不需要用户进行任何额外配置。

FlashAttention2 是一种优化的注意力机制，旨在加速 Transformer 模型的训练。它通过优化内存访问和计算流程来提高训练速度。

Unsloth 是一种特定的优化技术，用于减少训练过程中的计算冗余和内存占用，从而加快训练速度。

图片

图像输入对于多模态模型的训练，要结合图像和文本数据进行训练和推理。

图片

学习率

AdamW的学习率通常在1e-5 到 3e-5之间，于大型语言模型（如 BERT、GPT 等）的微调，常用的学习率范围是 2e-5 到5e-5，从一个相对较小的值开始，如 2e-5 。

如果训练不稳定或损失波动很大，可以尝试降低学习率，如果训练进展太慢，可以尝试略微增加学习率。

图片

**训练轮数:**对于大语言模型的微调，通常在 2 到 10 个 epoch 之间, 轮数过多可能导致过拟合，特别是在小数据集上。

图片

最大梯度范数

（Max Gradient Norm）是一种用于防止梯度爆炸的技术，也称为梯度裁剪（Gradient Clipping）。这个参数设置了梯度的最大允许值，如果梯度超过这个值，就会被缩放到这个最大值。

通常在 0.1 到 10 之间，太小：可能会限制模型学习，太大：可能无法有效防止梯度爆炸。

在这里插入图片描述

最大样本数

它决定了每个数据集中使用多少样本进行训练‘’

如果原始数据集很大，设置一个合理的最大样本数可以减少训练时间，如果计算资源有限，较小的样本数可以加快训练速度。

在这里插入图片描述

计算类型

有 bf16 fp16 fp32 purebf16，如果你的硬件支持 bfloat16，且你希望最大化内存效率和计算速度，可以选择 bf16 或 purebf16。

如果你的硬件支持 fp16，你希望加速训练过程且能够接受较低的数值精度，可以选择 fp16。

如果你不确定你的硬件支持哪些类型，或你需要高精度计算，可以选择 fp32。

在这里插入图片描述

截断长度：

截断长度是指在处理输入序列时，模型所能接受的最大标记（token）数量。

如果输入序列超过了这个长度，多余的部分将被截断，以确保输入序列长度不会超出模型的处理能力。

对于文本分类任务，通常截断到 128 或 256 个标记可能就足够了；而对于更复杂的任务，如文本生成或翻译，可能需要更长的长度。

在这里插入图片描述

批处理大小：

批处理大小是指在每次迭代中输入到模型中的样本数量。

在深度学习训练过程中，数据通常会被分成多个批次（batch）进行处理，每个批次包含一组样本。

较大的批处理大小会占用更多的内存（显存）。

如果批处理大小过大，可能导致显存不足，训练无法进行。

合理的批处理大小可以提高计算效率，大批量的数据可以更有效地利用 GPU 进行并行计算。

在这里插入图片描述

梯度累计：

是一种有效的策略，用于在受限的 GPU 内存情况下模拟更大的批处理大小。

在这里插入图片描述

验证集比例：

是指在机器学习和深度学习模型训练过程中，从训练数据集中划分出来的一部分数据，用于评估模型的性能。

验证集的数据不参与模型的训练，仅用于在训练过程中监控模型的表现，以防止过拟合和调整模型的超参数，常见的比例有 10%、20% 等，具体选择取决于数据集的大小和具体的应用场景。

在这里插入图片描述

学习率调整：

训练过程中保持学习率不变。随着训练进行，逐步减小学习率。

每隔一定的训练轮数（epoch），将学习率按某个比例缩小。

在每个周期内，学习率呈现余弦函数形态变化。如 Adam 、Adagrad 、RMSprop 等，根据梯度变化动态调整学习率。 ![](https://i-blog.csdnimg.cn/direct/516ad5ad68e64d30a96cdb96442cba78.png

训练

然后接下来选择我们微调要保存的目录即可。

然后右边会有微调过程中损失函数曲线，会越来越收敛，误差越来越小，直到某个阀值。

在这里插入图片描述

总结

在 LLaMA Factory 的 webui 里面，一切微调都是可视化，方便我们入手。

我们可以不用了解每个参数背后的具体实现手段，但一定要知道每个参数的含义，大模型的微调不是一蹴而就，而是不断更新和优化。

我们可能要调试各种参数之间的搭配，最后得到一个接近我们任务的大模型。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
知世不是芝士
关注
  • 26
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大模型的实践应用24-LLaMA-Factory微调通义千问qwen1.5-1.8B模型的实例
weixin_42878111的博客
05-23 1176
大家好，我是微学AI，今天给大家介绍一下大模型的实践应用24-LLaMA-Factory微调通义千问qwen1.5-1.8B模型的实例, LLaMA-Factory是一个专门用于大语言模型微调的框架，它支持多种微调方法，如LoRA、QLoRA等，并提供了丰富的数据集和预训练模型，便于用户进行模型微调。通义千问Qwen1.5是阿里巴巴推出的一款大型语言模型，具有多语言处理能力和较强的生成能力。
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机多卡-RTX 4090双卡（五）
最新发布
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-10 9976
使用LLaMA-Factory高效微调qwen2-7b-instruct
llama_factory微调QWen1.5
liguandong
04-15 2890
我们开源了包括0.5B、1.8B、4B、7B、14B和72B共计6个不同规模的Base和Chat模型，, 以及一个MoE模型（点击博客 了解详情），并同步放出了各尺寸模型对应的量化模型。请访问here开始使用，我们建议您试用Qwen1.5-72B-chat。模型效果 为了全面洞悉 Qwen1.5 的效果表现，我们对 Base 和 Chat 模型在一系列基础及扩展能力上进行了详尽评估，包括如语言理解、代码、推理等在内的基础能力，多语言能力，人类偏好对齐能力，智能体能力，检索增强生成能力（RAG）等。
使用LlamaFactory进行模型微调：参数详解
kjzd123的博客
06-19 3699
在使用LlamaFactory进行模型微调时，理解和合理设置各个参数至关重要。确保了输入序列的合理长度，优化了注意力机制的实现，和则通过低秩矩阵和权重更新比例来提高微调效率和效果，而和则进一步细化了模型的训练策略。通过这些参数设置，您可以在计算资源有限的情况下，充分发挥预训练模型的性能，实现高效的模型微调。如果您对这些技术感兴趣，可以尝试在自己的项目中应用，并根据实际情况进行调整和优化。
LLaMA-Factory参数的解答（命令，单卡，预训练）
精神病院逃出来的疯子写的博客
04-26 8233
前面这个写过，但觉得写的不是很好，这次是参考命令运行脚本，讲解各个参数含义。后续尽可能会更新，可以关注一下专栏！！LLaMA-Factory项目的地址：https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md在LLaMA-Factory项目中，单显卡可以用命令或web页面训练，多显卡只能用用命令的方式，此文章以命令和单显卡为主讲解*
llama factory 参数体系EvaluationArguments、DataArguments、FinetuningArguments、FreezeArguments、LoraArgument
weixin_41046245的博客
03-13 3328
类是一个Python数据类，用于存储和管理与PPO（Proximal Policy Optimization）和DPO（Deep Policy Optimization）训练相关的参数。类是一个Python数据类，用于存储和管理与指定解码参数相关的参数。类是一个Python数据类，用于存储和管理与训练和评估机器学习模型输入数据相关的参数。这个类的设计是为了方便地处理和传递命令行参数或配置文件中的参数，这些参数通常用于指定模型训练过程中的各种设置。的 Python 类，该类用于处理与模型微调相关的参数。
使用 Ollama 本地运行各种 LLM
python123456_的博客
05-31 708
今天看看另外一个产品Ollama。Ollama 的安装非常简单，只需从官网（https://ollama.com/download）下载后解压缩，并在 Terminal 中运行脚本即可完成环境设置。我尝试运行 Llama3，虽然在运行时占用了大量电脑资源，使得其他应用运行变慢，但整体体验尚可。Ollama 支持多种大型语言模型（https://ollama.com/library）。
大语言模型本地化部署+可视化微调
qq_44812718的博客
07-03 954
安装对应依赖时，分别对应于basic_demo和composite_demo两个文件夹下的requirements.txt，分别执行下述命令，这里还需要注意一点，注释掉basic_demo/requirements.txt中的第4、5行的torch安装，如图所示，因为如果直接用它的命令安装的时cpu版本的torch，无法用gpu进行推理，这里我们注释掉之后再手动安装torch。一般我们通过上传我们自己的数据集进行微调，这里显示的是一个自我认知数据集，数据集格式为。
LLaMA-Factory可视化界面微调chatglm2；LoRA训练微调模型 简单案例
weixin_42357472的博客
05-09 6248
lore模型训练 参考：https://github.com/huggingface/peft。
【深度学习】LLaMA-Factory 大模型微调工具, 大模型GLM-4-9B Chat ，微调与部署 (2)
q742971636的博客
07-23 1072
资料： https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md https://www.53ai.com/news/qianyanjishu/2015.html代码拉取： build镜像和执行镜像： 快速开始 下面三行命令分别对 Llama3-8B-Instruct 模型进行 LoRA 微调、推理和合并。llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml lla
用 LLama-Factory 训练和微调 LLama3，打造你的专属 AI 模型！
数智笔记
05-19 1958
微调模型涉及调整预训练或基础模型的参数，使其能够用于特定任务或数据集，从而提升其性能和准确性。这个过程包括为模型提供新的数据，并修改其权重、偏差和某些参数以最小化损失和成本。通过这样做，这个新模型可以在任何新任务或数据集上表现良好，而无需从头开始，从而节省时间和资源。通常，当一个新的大型语言模型（LLM）创建时，它会在一个大型文本数据语料库上进行训练，其中可能包含潜在有害或不良内容。在预训练或初始训练阶段之后，模型会被微调加入安全措施，确保其避免生成有害或不良的响应。然而，这种方法并非完美无缺。
多语言模型微调统一框架 LlAMAFACTORY: 统一高效微调100多种语言模型
数智笔记
04-08 1452
高效微调对于将大型语言模型（LLMs）适应下游任务至关重要。然而，在不同模型上实施这些方法需要付出相当大的努力。我们提出了LLAMAFACTORY，这是一个统一的框架，集成了一套尖端的高效训练方法。它允许用户通过内置的Web UI LLAMABOARD 灵活定制100多种LLMs的微调，无需编码。我们在语言建模和文本生成任务上经验性地验证了我们框架的效率和有效性。该框架已在发布，并已获得超过13,000颗星和1,600个分支。
Awesome-Chinese-LLM：开源中文大语言模型整理
AAI666666的博客
08-05 1055
Awesome-Chinese-LLM 是整理开源的中文大语言模型，主要包括规模较小、可私有化部署、训练成本较低的模型，涵盖底座模型、垂直领域微调及应用、数据集与教程等。
大模型可视化新突破：探索AI的内部工作机制
EnjoyEDU的博客
05-11 854
llm-viz的主要目标是展示大型语言模型（LLM）的工作流程和内部机制。具体来说，它提供了一个GPT风格网络的工作实现的3D模型，即OpenAI的GPT-2、GPT-3（以及可能的GPT-4）中使用的网络拓扑结构的可视化。通过这个项目，用户可以更直观地理解LLM的内部架构和工作原理。在llm-viz中，显示的第一个具有工作权重的网络是一个微小的网络，用于对字母A、B和C的小列表进行排序。这个演示示例模型是基于Andrej Karpathy的minGPT实现。
LLama3大模型本地部署 仅需6步完成对话模型本地安装部署。附送可视化ui安装、自定义模型目录，修改模型保存地址，第三方微调模型、中文模型下载地址
炼丹炉里有煤灰
05-12 5494
本篇分为三部分一：6步完成llama3大模型本地部署二：8步完成llama3可视化对话界面安装三：重设模型文件路径四：微调模型、中文模型下载资源分享。
LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
热门推荐
结构之法 算法之道
03-22 7万+
还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值