用LLama-Factory训练和微调 LLama3，打造你的专属 AI 模型！

用 LLama-Factory 训练和微调 LLama3，打造你的专属 AI 模型！

在这篇文章中，我们将了解如何使用 Llama Index 微调 Llama3。更棒的是，你只需几个简单的步骤和几行代码就可以实现这一点。

在低成本云 GPU 上构建和扩展 AI 模型。

目录

1. 1. 什么是模型微调？
2. 2. 为什么使用 LLama-Factory？
3. 3. LLAMABOARD：LLAMAFACTORY 的统一界面
4. 4. 在 Paperspace 上微调 Llama 3
5. 5. 结论
6. 6. 参考文献

本文将探索于 2024 年 3 月 21 日发布的 Llama Factory，并了解如何微调 Llama 3。为了我们的任务，我们将使用 NVIDIA A4000 GPU，这被认为是最强大的单槽 GPU 之一，能够无缝集成到各种工作站设置中。

利用 NVIDIA Ampere 架构，RTX A4000 集成了 48 个第二代 RT 核心，192 个第三代 Tensor 核心和 6144 个 CUDA 核心及配备有 ECC 的 16GB 图形内存；确保创新项目的计算精度和可靠性。

直到最近，微调大语言模型还是一个复杂的任务，主要由机器学习和 AI 专家处理。然而，随着人工智能领域的不断发展，这一观念正在迅速改变。新工具如 Llama Factory 正在出现，使得微调过程更加便捷和高效。此外，现在还可以使用 DPO、ORPO、PPO 和 SFT 等技术进行微调和模型优化。此外，你现在可以高效地训练和微调 Llama、Mistral、Falcon 等模型。

什么是模型微调？

微调模型涉及调整预训练或基础模型的参数，使其能够用于特定任务或数据集，从而提升其性能和准确性。这个过程包括为模型提供新的数据，并修改其权重、偏差和某些参数以最小化损失和成本。通过这样做，这个新模型可以在任何新任务或数据集上表现良好，而无需从头开始，从而节省时间和资源。

通常，当一个新的大型语言模型（LLM）创建时，它会在一个大型文本数据语料库上进行训练，其中可能包含潜在有害或不良内容。在预训练或初始训练阶段之后，模型会被微调加入安全措施，确保其避免生成有害或不良的响应。然而，这种方法并非完美无缺。尽管如此，微调的概念解决了适应特定需求的要求。

为什么使用 LLama-Factory？

引入 Llama Factory，这是一款能够高效且经济地微调 100 多个模型的工具。Llama Factory 简化了模型微调的过程，使其变得易于访问和用户友好。它还提供了 Hiyouga 的 Hugging Face Space，可以用来微调模型。

LLama Board(Huggingface Space)

这个空间还支持 Lora 和 GaLore 配置以减少 GPU 使用。通过一个简单的滑动条，用户可以轻松更改诸如 drop-out、epoch、批量大小等参数。有多种数据集选项可供选择来微调你的模型。如本文所述，Llama Factory 支持众多模型，包括不同版本的 Llama、Mistral 和 Falcon。它还支持先进的算法如 galore、badm 和 Lora，提供了各种功能如闪存注意力、位置编码和缩放。

此外，你可以集成监控工具如 TensorBoard、VanDB 和 MLflow。为了更快的推理，你可以利用 Gradio 和 CLI。总之，Llama Factory 提供了一套多样化的选项来提升模型性能并简化微调过程。

LLAMABOARD：LLAMAFACTORY 的统一界面

LLAMABOARD 是一个用户友好的工具，帮助人们无需编程知识就能调整和改进语言模型（LLM）的性能。它像一个仪表板一样，可以轻松自定义语言模型的学习和信息处理方式。

以下是一些关键特性：

1. 1. 简单定制：你可以在网页上调整设置来改变模型的学习方式。默认设置适用于大多数情况。而且，你还可以在开始之前查看数据在模型中的表现。
2. 2. 进度监控：在模型学习过程中，你可以看到更新和图表，这些图表显示了模型的表现。这将帮助你了解模型是否在改进。
3. 3. 灵活测试：你可以通过与已知答案对比或直接与模型交互来检查模型对文本的理解能力。这可以帮助你看清模型在语言理解方面的提升。
4. 4. 多语言支持：LLAMABOARD 支持英文、俄文和中文，这使得它对不同语言的用户都很有用。未来还可以增加更多语言的支持。

使用 Paperspace 微调 LLama 3

让我们登录平台，选择你喜欢的 GPU，并启动笔记本。你也可以点击文章中的链接来帮助你启动笔记本。

1. 1. 我们将先克隆代码库并安装所需库，

!git clone https://github.com/hiyouga/LLaMA-Factory.git   %cd LLaMA-Factory   %ls

1. 1. 接下来，我们将安装 unsloth，它可以帮助我们有效地微调模型。另外，我们还将安装 xformers 和 bitsandbytes。

# 安装所需软件包   !pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"   !pip install --no-deps xformers==0.0.25   !pip install .[bitsandbytes]   !pip install 'urllib3<2'

1. 1. 安装完成后，我们将检查 GPU 规格，

!nvidia-smi

1. 1. 接下来，我们将导入 torch 并检查 CUDA，因为我们使用的是 GPU，

import torch   try:       assert torch.cuda.is_available() is True   except AssertionError:       print("Your GPU is not setup!")

1. 1. 现在我们将导入克隆到 GitHub 代码库中的数据集。我们也可以创建自定义数据集并使用它。

import json   %cd /notebooks/LLaMA-Factory   MODEL_NAME = "Llama-3"   with open("/notebooks/LLaMA-Factory/data/identity.json", "r", encoding="utf-8") as f:       dataset = json.load(f)   for sample in dataset:       sample["output"] = sample["output"].replace("MODEL_NAME", MODEL_NAME).replace("AUTHOR", "LLaMA Factory")   with open("/notebooks/LLaMA-Factory/data/identity.json", "w", encoding="utf-8") as f:       json.dump(dataset, f, indent=2, ensure_ascii=False)

1. 1. 完成上述步骤后，执行以下代码生成 Llama Factory 的 Gradio web 应用链接。

# 生成 web 应用链接   %cd /notebooks/LLaMA-Factory   !GRADIO_SHARE=1 llamafactory-cli webui

你可以点击生成的链接并按照提示操作，或者使用你自己的参数规格。

1. 1. 模型选择：

• • 你可以选择任何模型；此处我们选择 8 亿参数的 Llama 3。

3. 2. 适配器配置：

• • 你可以指定适配器路径。

• • 可用的适配器包括 LoRa、QLoRa、freeze 或 full。

• • 如果需要，你可以刷新适配器列表。

5. 3. 训练选项：

• • 你可以通过监督微调进行模型训练。

• • 或者，你可以选择使用 DPU（数据处理单元）或 PPU（并行处理单元）（如果适用）。

7. 4. 数据集选择：

• • 已选择的数据集用于监督微调（SFT）。

• • 你也可以选择自己的数据集。

9. 5. 超参数配置：

• • 你可以调整超参数，比如训练轮数、最大梯度范数和最大样本大小。

11. 6. Laura 配置：

• • 可用的详细配置选项可用于 LoRa 模型。

13. 7. 开始训练：

• • 设置完所有配置后，你可以点击“开始”按钮启动训练过程。

这将开始训练。

我们也将使用 CLI 命令开始训练和微调。你可以使用下面的代码来指定参数。

args = dict(     stage="sft",                        # 指定训练阶段。这里设置为“sft”以进行监督微调     do_train=True,     model_name_or_path="unsloth/llama-3-8b-Instruct-bnb-4bit", # 使用 bnb-4bit-quantized Llama-3-8B-Instruct 模型     dataset="identity,alpaca_gpt4_en",             # 使用 alpaca 和 identity 数据集     template="llama3",                     # 使用 llama3 模板     finetuning_type="lora",                   # 使用 LoRA 适配器，以节省内存     lora_target="all",                     # 将 LoRA 适配器附加到所有线性层     output_dir="llama3_lora",                  # 保存 LoRA 适配器的路径     per_device_train_batch_size=2,               # 指定批量大小     gradient_accumulation_steps=4,               # 梯度累积步数     lr_scheduler_type="cosine",                 # 使用余弦学习率调度器     logging_steps=10,                      # 每 10 步记录一次     warmup_ratio=0.1,                      # 使用预热调度器     save_steps=1000,                      # 每 1000 步保存一次检查点     learning_rate=5e-5,                     # 学习率     num_train_epochs=3.0,                    # 训练轮数     max_samples=500,                      # 每个数据集使用 500 个示例     max_grad_norm=1.0,                     # 最大梯度范数剪裁值     quantization_bit=4,                     # 使用 4 位 QLoRA 量化     loraplus_lr_ratio=16.0,                   # 使用 lambda=16.0 的 LoRA+      use_unsloth=True,                      # 使用 UnslothAI 的 LoRA 优化以加速 2 倍训练速度     fp16=True,                         # 使用 float16 混合精度训练   )   json.dump(args, open("train_llama3.json", "w", encoding="utf-8"), indent=2)

接下来，打开终端并运行以下命令

!llamafactory-cli train train_llama3.json   

这将启动训练过程。

1. 1. 模型训练完成后，我们可以使用该模型进行推理。让我们尝试这样做，并检查模型的工作情况。

args = dict(        model_name_or_path="unsloth/llama-3-8b-Instruct-bnb-4bit", # 指定用于推理的预训练模型的名称或路径。在本例中，设置为 "unsloth/llama-3-8b-Instruct-bnb-4bit"。        #adapter_name_or_path="llama3_lora",            # 加载保存的 LoRA 适配器        finetuning_type="lora",                  # 指定微调类型。这里设置为 "lora" 以使用 LoRA 适配器。        template="llama3",                     # 指定用于推理的对话模板。这次设置为 "llama3"。        quantization_bit=4,                    # 指定量化位数。这次设置为 4。        use_unsloth=True,                     # 使用 UnslothAI 的 LoRA 优化，实现 2 倍生成速度      )      json.dump(args, open("infer_llama3.json", "w", encoding="utf-8"), indent=2)   

在这里，我们定义了带有已保存适配器的模型，选择了聊天模板，并指定了用户-助手的交互过程。 接下来，在终端中运行以下代码，

!llamafactory-cli chat infer_llama3.json   

我们建议用户尝试 Llama-Factory，进行各种模型实验和参数调整。

结论

有效的微调已经成为大语言模型（LLMs）适应特定任务的必要条件之一。然而，这需要一定的努力，有时还相当具有挑战性。LLama-Factory 的引入提供了一个综合框架，该框架整合了先进的高效训练技术，用户无需编码即可轻松自定义超过 100 种 LLMs 的微调。 许多人现在对大语言模型（LLMs）变得更好奇，他们会倾向于使用 LLama-Factory 来调整自己的模型。这有助于开源社区的成长和活跃。LLama-Factory 正逐渐出名，甚至在 Awesome Transformers3 中被强调为高效微调 LLMs 的领先工具。 我们希望这篇文章能鼓励更多开发者使用此框架构建对社会有益的 LLMs。请记住，在使用 LLama-Factory 微调 LLMs 时，遵守模型许可证的规定非常重要，以防止潜在的滥用。 到这里，我们结束了这篇文章，我们看到了现在微调任何模型是多么容易，可以在几分钟内完成。我们还可以使用 hugging face CLI 将此模型推送到 hugging face hub。 为您的机器学习工作流程增添速度和简便性，今天就开始吧

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】