LlamaFactory：解锁LLM微调效率的终极神器！

最新推荐文章于 2025-04-02 21:37:48 发布
最新推荐文章于 2025-04-02 21:37:48 发布
阅读量1k 收藏 9
点赞数 27
文章标签： 人工智能 deepseek llama langchain 程序员 大模型微调 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_82469710/article/details/146009592
版权

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调，框架特性包括：

  • 模型种类：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。

  • 训练算法：（增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练、ORPO 训练等等。

  • 运算精度：16 比特全参数微调、冻结微调、LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 的 2/3/4/5/6/8 比特 QLoRA 微调。

  • 优化算法：GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ 和 PiSSA。

  • 加速算子：FlashAttention-2 和 Unsloth。

  • 推理引擎：Transformers 和 vLLM。

  • 实验面板：LlamaBoard、TensorBoard、Wandb、MLflow 等等。

在安装 LLaMA-Factory 之前，请确保您安装了下列依赖:

运行以下指令以安装 LLaMA-Factory 及其依赖:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git``cd LLaMA-Factory``pip install -e ".[torch,metrics]"

如果出现环境冲突，请尝试使用 pip install --no-deps -e .解决

LLaMA-Factory 支持通过 WebUI 零代码微调大语言模型。 在完成 安装后，您可以通过以下指令进入 WebUI:

llamafactory-cli webui

WebUI 主要分为四个界面：训练、评估与预测、对话、导出。

"alpaca_zh_demo.json"``{`  `"instruction": "计算这些物品的总费用。 ",`  `"input": "输入：汽车 - $3000，衣服 - $100，书 - $20。",`  `"output": "汽车、衣服和书的总费用为 $3000 + $100 + $20 = $3120。"``},

您可以使用以下命令进行微调：

llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml

examples/train_lora/llama3_lora_sft.yaml提供了微调时的配置示例。该配置指定了模型参数、微调方法参数、数据集参数以及评估参数等。您需要根据自身需求自行配置。

### examples/train_lora/llama3_lora_sft.yaml``model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct``stage: sft``do_train: true``finetuning_type: lora``lora_target: all``dataset: identity,alpaca_en_demo``template: llama3``cutoff_len: 1024``max_samples: 1000``overwrite_cache: true``preprocessing_num_workers: 16``output_dir: saves/llama3-8b/lora/sft``logging_steps: 10``save_steps: 500``plot_loss: true``overwrite_output_dir: true``per_device_train_batch_size: 1``gradient_accumulation_steps: 8``learning_rate: 1.0e-4``num_train_epochs: 3.0``lr_scheduler_type: cosine``warmup_ratio: 0.1``bf16: true``ddp_timeout: 180000000``val_size: 0.1``per_device_eval_batch_size: 1``eval_strategy: steps``eval_steps: 500

当我们基于预训练模型训练好 LoRA 适配器后，我们不希望在每次推理的时候分别加载预训练模型和 LoRA 适配器，因此我们需要将预训练模型和 LoRA 适配器合并导出成一个模型，并根据需要选择是否量化。根据是否量化以及量化算法的不同，导出的配置文件也有所区别。

您可以通过 llamafactory-cli export merge_config.yaml 指令来合并模型。其中 merge_config.yaml 需要您根据不同情况进行配置。

在完成模型合并并获得完整模型后，为了优化部署效果，人们通常会基于显存占用、使用成本和推理速度等因素，选择通过量化技术对模型进行压缩，从而实现更高效的部署。

量化（Quantization）通过数据精度压缩有效地减少了显存使用并加速推理。LLaMA-Factory 支持多种量化方法，包括:

  • AQLM

  • AWQ

  • GPTQ

  • QLoRA

  • …

GPTQ 等后训练量化方法(Post Training Quantization)是一种在训练后对预训练模型进行量化的方法。我们通过量化技术将高精度表示的预训练模型转换为低精度的模型，从而在避免过多损失模型性能的情况下减少显存占用并加速推理，我们希望低精度数据类型在有限的表示范围内尽可能地接近高精度数据类型的表示，因此我们需要指定量化位数 export_quantization_bit 以及校准数据集 export_quantization_dataset。

下面提供一个配置文件示例：

### examples/merge_lora/llama3_gptq.yaml``### model``model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct``template: llama3``### export``export_dir: models/llama3_gptq``export_quantization_bit: 4``export_quantization_dataset: data/c4_demo.json``export_size: 2``export_device: cpu``export_legacy_format: false

QLoRA 是一种在 4-bit 量化模型基础上使用 LoRA 方法进行训练的技术。它在极大地保持了模型性能的同时大幅减少了显存占用和推理时间。

LLaMA-Factory 支持多种推理方式。

您可以使用 llamafactory-cli chat inference_config.yaml 或 llamafactory-cli webchat inference_config.yaml 进行推理与模型对话。对话时配置文件只需指定原始模型 model_name_or_path 和 template ，并根据是否是微调模型指定 adapter_name_or_path 和 finetuning_type。

如果您希望向模型输入大量数据集并保存推理结果，您可以启动 vllm 推理引擎对大量数据集进行快速的批量推理。您也可以通过 部署 api 服务的形式通过 api 调用来进行批量推理。

默认情况下，模型推理将使用 Huggingface 引擎。 您也可以指定 infer_backend: vllm 以使用 vllm 推理引擎以获得更快的推理速度。

在完成模型训练后，您可以通过 llamafactory-cli eval examples/train_lora/llama3_lora_eval.yaml 来评估模型效果。

配置示例文件examples/train_lora/llama3_lora_eval.yaml具体如下：

### examples/train_lora/llama3_lora_eval.yaml``### model``model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct``adapter_name_or_path: saves/llama3-8b/lora/sft # 可选项``### method``finetuning_type: lora``### dataset``task: mmlu_test # mmlu_test, ceval_validation, cmmlu_test``template: fewshot``lang: en``n_shot: 5``### output``save_dir: saves/llama3-8b/lora/eval``### eval``batch_size: 4

LLaMA-Factory 支持单机多卡和多机多卡分布式训练。同时也支持 DDP , DeepSpeed 和 FSDP 三种分布式引擎。

DDP (DistributedDataParallel) 通过实现模型并行和数据并行实现训练加速。 使用 DDP 的程序需要生成多个进程并且为每个进程创建一个 DDP 实例，他们之间通过 torch.distributed 库同步。

DeepSpeed 是微软开发的分布式训练引擎，并提供ZeRO（Zero Redundancy Optimizer）、offload、Sparse Attention、1 bit Adam、流水线并行等优化技术。 您可以根据任务需求与设备选择使用。

FSDP 通过全切片数据并行技术（Fully Sharded Data Parallel）来处理更多更大的模型。在 DDP 中，每张 GPU 都各自保留了一份完整的模型参数和优化器参数。而 FSDP 切分了模型参数、梯度与优化器参数，使得每张 GPU 只保留这些参数的一部分。 除了并行技术之外，FSDP 还支持将模型参数卸载至CPU，从而进一步降低显存需求。

随着语言模型规模的不断增大，其训练的难度和成本已成为共识。 而随着用户数量的增加，模型推理的成本也在不断攀升，甚至可能成为限制模型部署的首要因素。 因此，我们需要对模型进行压缩以加速推理过程，而模型量化是其中一种有效的方法。

大语言模型的参数通常以高精度浮点数存储，这导致模型推理需要大量计算资源。 量化技术通过将高精度数据类型存储的参数转换为低精度数据类型存储， 可以在不改变模型参数量和架构的前提下加速推理过程。这种方法使得模型的部署更加经济高效，也更具可行性。

浮点数一般由3部分组成：符号位、指数位和尾数位。指数位越大，可表示的数字范围越大。尾数位越大、数字的精度越高。

量化可以根据何时量化分为：后训练量化和训练感知量化，也可以根据量化参数的确定方式分为：静态量化和动态量化。

为了解决大语言模型的遗忘问题， LLaMA Pro 通过在原有模型上增加新模块以适应新的任务，使其在多个新任务上的表现均优于原始模型。 LLaMA-Factory 支持 LLaMA Pro 的使用。 您可以使用运行 expand.sh 将 Meta-Llama-3-8B-Instruct 扩展为 llama3-8b-instruct-pro。

对于 LLaMA Pro 模型进行训练时，您需要指定 use_llama_pro 为 true。

以上就是关于 LlamaFactory 的全部内容，它为大语言模型微调提供了高效且统一的解决方案。如果你对 LlamaFactory 的功能或应用有任何想法，欢迎在评论区分享你的见解！你觉得它能为你的项目带来什么样的改变？👇

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

DeepSeek提示库（官方文档）
一个喜欢诗和远方的程序媛
02-27 1988
专注于提示词和训练技巧本身，才才能让DeepSeek更好的帮助我们
9、LLaMA-Factory项目微调介绍
Andy_shenzl的博客
08-28 2583
LLaMA Factory是一个在GitHub上开源的项目，该项目给自身的定位是：提供一个易于使用的大语言模型（LLM）微调框架，支持LLaMA、Baichuan、Qwen、ChatGLM等架构的大模型。更细致的看，该项目提供了从预训练、指令微调到RLHF阶段的开源微调解决方案。截止目前（2024年3月1日）支持约120+种不同的模型和内置了60+的数据集，同时封装出了非常高效和易用的开发者使用方法。
LlamaFactory可视化微调大模型 - 参数详解
我码玄黄的博客
07-10 1700
是一个用于微调大型语言模型的强大工具，特别是针对LLaMA系列模型。可以适应不同的模型架构和大小。支持多种微调技术，如全参数微调、LoRA）、QLoRA）等。还给我们提供了简单实用的命令行接口。支持多cpu训练，多任务微调，还有各种内存优化技术，如梯度检查点、梯度累积等。支持混合精度训练，提高训练效率。本文不再赘述的安装过程在的webui里面，一切微调都是可视化，方便我们入手。我们可以不用了解每个参数背后的具体实现手段，但一定要知道每个参数的含义，大模型的微调不是一蹴而就，而是不断更新和优化。
大模型系列之LLaMA Factory微调学习
2401_85773741的博客
03-19 1592
本文介绍了使用LLaMA Factory进行微调的步骤，包括环境搭建、数据准备、参数配置、训练和效果评估等，最终成功微调模型并使用Ollama部署，提升了模型表现，达到了预期的效果。有一点感受是跟之前接触的安全实验不太一样：大多数的安全实验都是我打了这个Payload，就一定会出现确定的结果，不管是弹计算器还是反弹Shell，一切都是确定的。而大模型的训练往往充满了玄学成分，可能需要多实验几次才知道什么是最优参数。
用 LLama-Factory 训练和微调 LLama3，打造你的专属 AI 模型！
数智笔记
05-19 2441
微调模型涉及调整预训练或基础模型的参数，使其能够用于特定任务或数据集，从而提升其性能和准确性。这个过程包括为模型提供新的数据，并修改其权重、偏差和某些参数以最小化损失和成本。通过这样做，这个新模型可以在任何新任务或数据集上表现良好，而无需从头开始，从而节省时间和资源。通常，当一个新的大型语言模型（LLM）创建时，它会在一个大型文本数据语料库上进行训练，其中可能包含潜在有害或不良内容。在预训练或初始训练阶段之后，模型会被微调加入安全措施，确保其避免生成有害或不良的响应。然而，这种方法并非完美无缺。
LLaMA-Factory：大语言模型微调框架（大模型）
2301_81940605的博客
07-18 4949
LLaMA-Factory 是一个国内北航开源的低代码大模型训练框架，专为大型语言模型（LLMs）的微调而设计
LLaMA-Factory 微调训练
qq_45437316的博客
05-21 1968
1，vllm安装很多坑，pytorch版本和cuda版本必须保持一致兼容，使用pytoch的docker镜像可用省事很多，先看pytorch的版本，pytorch版本11.8，12.1，最好是cuda11.8版本的cuda和torch。三，vllm部署（不一定是llama3的模型，自己根据 llama3_vllm.yaml 配置修改就行，配置文件中也可用修改用huggingface部署）2，vllm启动会预先分配一定的显存，也可用自行修改，如还有其他应用要启动，可用调低一些。1，数据集的准备和配置。
Cursor 破局的关键：两个 PMF | Cursor 底层模型 / 使用教程
u013669912的博客
09-25 1万+
……
【NLP算法面经】字节AI Lab -- NLP算法面经（附面题整理）
一个程序猿的AI转型之路
02-13 1545
面试的岗位是“AI Lab实习生 — 自然语言处理NLP”，一共2面技术和一面hr，这里主要说下其中的技术面试。
多语言模型微调统一框架 LlAMAFACTORY: 统一高效微调100多种语言模型
数智笔记
04-08 1772
高效微调对于将大型语言模型（LLMs）适应下游任务至关重要。然而，在不同模型上实施这些方法需要付出相当大的努力。我们提出了LLAMAFACTORY，这是一个统一的框架，集成了一套尖端的高效训练方法。它允许用户通过内置的Web UI LLAMABOARD 灵活定制100多种LLMs的微调，无需编码。我们在语言建模和文本生成任务上经验性地验证了我们框架的效率和有效性。该框架已在发布，并已获得超过13,000颗星和1,600个分支。
LLaMA-Factory 模型微调实践
wu_tech的博客
11-05 2484
用LLaMa-Factory微调出自己的模型
大模型如何练好“内功”
h1453586413的博客
08-20 320
随着人工智能技术的不断突破，以大模型为代表的生成式人工智能正以前所未有的速度迅猛发展。从自然语言处理到图像识别，从智能推荐到自动驾驶，大模型正逐步渗透到生活的方方面面，展现出巨大的潜力和价值。然而，在高速发展的同时，大模型行业也面临着诸多挑战，练好“内功”成为其持续发展的关键。只有在这些基础能力上不断精进，大模型才能更好地应对复杂多变的应用场景，提供更加精准、可靠的服务。因此，科研人员和企业需要不断投入研发资源，优化算法，提升模型性能。
LLaMA-Factory：手把手教你从零微调大模型！
热门推荐
php源码
07-24 1万+
在深度学习领域，模型微调通常指的是在预训练模型的基础上进行的进一步训练。预训练模型是在大量数据上训练得到的，它已经学习到了语言的基本规律和丰富的特征表示。然而，这些模型可能并不直接适用于特定的任务或领域，因为它们可能缺乏对特定领域知识的理解和适应性。模型微调通过在特定任务的数据集上继续训练预训练模型来进行，使得模型能够学习到与任务相关的特定特征和知识。这个过程通常涉及到模型权重的微幅调整，而不是从头开始训练一个全新的模型。
12 大模型学习——LLaMA-Factory微调
最新发布
weixin_54388827的博客
04-02 1359
Alpaca 格式由斯坦福大学的研究人员提出，主要用于单轮指令微调任务。针对不同任务，数据集的格式要求不同。应用场景：- 适用于单轮任务，如问答、文本生成、摘要、翻译等。- 结构简洁，任务导向清晰，适合低成本的指令微调。
Llama-Factory的baichuan2微调
man_Xue_hao的博客
11-18 8752
现有的获得这种可控性的方法是收集人工对模型生成相对质量的标签，并且通过人类反馈强化学习（RLHF）对无监督的 LM 进行微调，以使其与人类偏好相一致。然而，RLHF 是一个复杂且经常不太稳定的过程，它首先拟合一个反应人类偏好的奖励模型，然后通过强化学习对大型无监督 LM 进行微调以最大化评估奖励，并避免与原始模型相差太远。值得注意的是，用 DPO 进行微调在控制生成结果的情感以及改善摘要和单轮对话的响应质量方面表现出更好的能力，同时在实现和训练时的难度大大降低。，从本质上解决了人类偏好数据上的分类问题。
使用LlamaFactory进行模型微调：参数详解
kjzd123的博客
06-19 1万+
在使用LlamaFactory进行模型微调时，理解和合理设置各个参数至关重要。确保了输入序列的合理长度，优化了注意力机制的实现，和则通过低秩矩阵和权重更新比例来提高微调效率和效果，而和则进一步细化了模型的训练策略。通过这些参数设置，您可以在计算资源有限的情况下，充分发挥预训练模型的性能，实现高效的模型微调。如果您对这些技术感兴趣，可以尝试在自己的项目中应用，并根据实际情况进行调整和优化。
LLaMA-Factory使用心得：小白也能轻松微调大模型
2401_84204413的博客
03-17 990
1. 准备好硬件（GPU）、数据；通过各方面的资讯选中你想要微调的基座模型2. 准备好代码：输入数据 + 模型 -> 在GPU上反复训练3. 训练结束以后，得到训练过程中的checkpoint + 一些log信息4. 根据log信息选一些比较有希望的checkpoint在自己的测试集上推理，获得相应的结果5. 分析结果，获得下一轮实验（数据、训练方案的迭代）思路而LLaMA-Factory就是一个很好的负责step。
实现智能问答系统：RAG与LLM微调结合本地知识库
资源摘要信息:"RAG-基于本地知识库检索+LLM微调的智能问答系统实现-附项目源码-优质项目实战.zip" 该文件是一个关于构建智能问答系统的项目资源包，涵盖了本地知识库的检索、LLM（Large Language Model，大型语言...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值