使用LLaMA-Factory快速训练自己的专用大模型

于 2024-09-05 11:10:04 发布
阅读量848 收藏 4
点赞数 34
文章标签： llama transformer 深度学习 人工智能 大模型训练 ai大模型 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/python12345678_/article/details/141925909
版权

本文聊聊 LLama-Factory，它是一个开源框架，这里头可以找到一系列预制的组件和模板，让你不用从零开始，就能训练出自己的语言模型（微调）。不管是聊天机器人，还是文章生成器，甚至是问答系统，都能搞定。而且，LLama-Factory 还支持多种框架和数据集，这意味着你可以根据项目需求灵活选择，把精力集中在真正重要的事情上——创造价值。

使用LLama-Factory，常见的就是训练LoRA模型，增强模型在某方面的生成能力。本教程将以增强 GLM-4-9B-Chat 模型的脑筋急转弯能力为例，演示LoRA模型的微调方法。

环境准备

本地使用

LLama-Factory 的安装比较简单，大家直接看官网页面就够了：

github.com/hiyouga/LLa…

云镜像

如果你本地没有一张好显卡，也不想费劲的安装，就想马上开始训练。

可以试试我的云镜像，开箱即用：www.haoee.com/application…

平台注册就送一定额度，可以完成本教程的的演示示例。

镜像已经内置了几个基础模型，大都在6B-9B，单卡24G显存即可完成LoRA微调。

如果要微调更大的模型，则需要更多的显卡和显存，请在购买GPU时选择合适的显卡和数量。

已经内置的模型：Yi-1.5-9B-Chat、Qwen2-7B、meta-llama-3.1-8b-instruct、glm-4-9b-chat、chatglm3-6b

如果缺少你需要的模型，可以给我反馈。

假设你已经解决了程序运行环境问题，下边将开始讲解 LLama-Factory 的使用方法。

LLama-Factory 直接命令行和Web页面训练，为了方便入门，这篇文章以Web页面训练为例。

选择基础模型

语言：zh，因为我们要微调的是中文模型。

模型选择：GLM-4-9B-Chat

模型路径：/root/LLaMA-Factory/models/glm-4-9b-chat，默认会自动下载模型，不过速度可能比较慢，我们的镜像中已经下载好这个模型，所以直接填写路径更快。

微调方法：lora

在这里插入图片描述

准备训练数据集

LLaMA-Factory自带了一些常用的数据集，如果你使用的数据集不在里边，可以修改 data/dataset_info.json，在其中增加自己的数据集。

这里我使用的是一个弱智吧问答数据集，数据集的格式是 alpaca，来源：huggingface.co/datasets/Lo…

在这里插入图片描述

训练参数设置

训练参数需要根据实际训练效果进行调整，这里给出一个参考设置。

在这里插入图片描述

数据集：请根据你的需要选择，这里选择我上边定义的 ruozhiba_qa。

学习率：1e-4，设置的大点，有利于模型拟合。

计算类型：如果显卡较旧，建议计算类型选择fp16；如果显卡比较新，建议选择bf16。

梯度累计：2，有利于模型拟合。

在这里插入图片描述

LoRA+学习率比例：16，相比LoRA，LoRA+续写效果更好。

LoRA作用模块：all ， 表示将LoRA层挂载到模型的所有线性层上，提高拟合效果。

开始训练

点击“开始”按钮，可以在页面上看到训练进度和训练效果。

根据训练方法和训练数据的大小，训练需要的时间不定。

在这里插入图片描述

推理测试

在“检查点路径”这里加载刚刚训练的LoRA模型，然后切换到“Chat”页签，点击“加载模型”。

测试完毕后，记得点击“卸载模型”，因为模型占用显存比较大，不释放的话，再进行别的任务可能会出错。

在这里插入图片描述

对比训练前后的变化：

训练前：

在这里插入图片描述

训练后：

在这里插入图片描述

这是一个比较感性的测试，如果需要更为正式的效果评估，请使用“Evaluate & Predict” 选择合适的评测数据集进行评估。

在这里插入图片描述

合并导出模型

有时候我们需要把模型导出来放在别的地方使用，输出一个完整的模型文件，而不是基础模型+LoRA模型。

在这里插入图片描述

检查点路径：训练出来的LoRA模型

导出目录：设置一个服务器上的路径，新的模型会存放到这里。

最后点击“开始导出”就行了。导出完毕后，请前往服务器相关的路径中下载模型。

LLaMA-Factory 架构

最后送大家一张 LLaMA-Factory 的架构图，方便理解其原理。

在这里插入图片描述

图片左侧：显示了 LLaMA-Factory 的架构，分为四个主要部分：LlamaBoard、Trainer、Model Loader 和 Data Worker。

  • LlamaBoard：用于参数配置和训练状态监视。
  • Trainer：负责优化和训练方法的选择，如 LoRA+、GaLoRe、Pre-train、SFT 等。
  • Model Loader：负责模型初始化、补丁、量化和适配器等功能。
  • Data Worker：负责加载、对齐、预处理和合并训练数据。

图片右侧：列出了支持的流行语言模型和大小，以及支持的训练方法。

  • 支持的语言模型和大小：LLaMA、LLaMA-2、LLaMA-3、Command-R、Mistral/Mixtral、OLMo、Phi-1.5/2、Qwen、DeepSeek (MoE)、Falcon、Gemma/CodeGemma 和 StarCoder2。
  • 支持的训练方法：全量调整、冻结调整、LoRA、QLoRA、奖励建模、PPO 训练、DPO 训练、ORPO 训练。

总体上来说，LLama-Factory 的使用还是挺顺利的，没有太多的坑。

听不如见，见不如做，自己动手，才能真正有所感悟！

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

AI大模型_学习君
关注
  • 34
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Meta 的LLaMA是 GPT的竞争对手，如何在 M1 Mac 上使用 LLaMA
iCloudEnd的博客
03-15 2561
第 1 步：下载模型第 2 步：安装依赖第 3 步：编译 LLaMA CPP第 4 步：转换模型Step5：运行模型。
大模型的实践应用24-LLaMA-Factory微调通义千问qwen1.5-1.8B模型的实例
weixin_42878111的博客
05-23 1210
大家好，我是微学AI，今天给大家介绍一下大模型的实践应用24-LLaMA-Factory微调通义千问qwen1.5-1.8B模型的实例, LLaMA-Factory是一个专门用于大语言模型微调的框架，它支持多种微调方法，如LoRA、QLoRA等，并提供了丰富的数据集和预训练模型，便于用户进行模型微调。通义千问Qwen1.5是阿里巴巴推出的一款大型语言模型，具有多语言处理能力和较强的生成能力。
llama factory 参数体系EvaluationArguments、DataArguments、FinetuningArguments、FreezeArguments、LoraArgument
weixin_41046245的博客
03-13 3397
类是一个Python数据类，用于存储和管理与PPO（Proximal Policy Optimization）和DPO（Deep Policy Optimization）训练相关的参数。类是一个Python数据类，用于存储和管理与指定解码参数相关的参数。类是一个Python数据类，用于存储和管理与训练和评估机器学习模型输入数据相关的参数。这个类的设计是为了方便地处理和传递命令行参数或配置文件中的参数，这些参数通常用于指定模型训练过程中的各种设置。的 Python 类，该类用于处理与模型微调相关的参数。
10、ollama启动LLama_Factory微调大模型（llama.cpp）
Andy_shenzl的博客
08-30 890
在介绍了如何使用LLama_Factory微调大模型，并将微调后的模型文件合并导出，本节我们我们看下如何使用ollama进行调用。
基础岛 - 使用XTuner微调internLM1.8B模型的实践
纸上得来终觉浅 绝知此事要躬行
08-09 819
XTuner是低成本大模型训练工具箱，也是internLM全链条工具链中，微调工具的一环。XTuner支持与书生·浦语（InternLM）、Llama等多款开源大模型的适配，可执行增量预训练、指令微调、工具类指令微调等任务类型。硬件要求上，开发者最低使用消费级显卡便可进行训练，实现大模型特定需求能力。
llama-factory llama-factory llama-factory llama-factory llama-fa
06-13
llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory
llama-factory一个数据微调用例
05-26
因此，使用"llama-factory"进行数据微调的目的是提升LoRa通信系统的性能，比如提高信号解码准确性、增强网络覆盖范围或者优化能源效率。通过精细调整模型，可以更好地适应LoRa信号在复杂环境中的特性，从而提升整体...
LLaMA Factory多卡微调的实战教程
热门推荐
herosunly的博客
04-25 9万+
本文主要介绍了LLaMA Factory多卡微调的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试
利用 Llama-Index为你的应用程序注入智能搜索
09-04 394
Llama-Index 是一个基于大型语言模型的索引和检索工具，它允许用户快速检索和使用大量文本数据。
Llama中的曼巴：通过推测解码加速推理
AI人工智能学家的博客
09-02 999
大型语言模型（LLMs）虽然在自然语言处理领域取得了革命性突破，但在面对长序列处理时依然存在显著的计算复杂度和内存需求问题，影响了高效推理的能力。为了解决这一瓶颈问题，研究人员提出了多种高效架构，如无注意力模型（S4、GSS和BiGS），以及结合特定上下文选择的Mamba模型，展示了较高的计算和内存效率。特别是通过将预训练的Transformer蒸馏到线性RNN中，康奈尔大学和其他机构的研究人员显著提高了推理速度，同时保持了生成质量。
跑通llama-factory
rookie的博客
08-31 257
之后在本地windows，ssh -N -f -L localhost:7863:localhost:7863 root@xx.xxx.xx.x。在本地windows，打开http://0.0.0.0:7863/，总是显示无法打开界面。1.在ubuntu下安装环境。之后刷新一下，就能显示了。
LLaMA-Factory仓基础功能架构及NPU/GPU环境实战演练
Watson的博客
09-04 505
LLaMA-Factory是一个开源的大规模语言模型微调框架，设计用于简化大模型的训练过程。它提供了一个统一的平台，支持多种大模型的微调，包括LLaMA、BLOOM、Mistral等，旨在帮助用户快速适应和调整这些模型以适应特定的应用场景。LLaMA-Factory通过提供一套完整的工具和接口，使用户能够轻松地对预训练的模型进行定制化的训练和调整，包括（增量）预训练、指令监督微调、奖励模型训练、PPO训练、DPO训练和ORPO训练等多种训练方法。
The Llama 3 Herd of Models【论文原文下载】
hallo128的博客
09-04 224
现代人工智能（AI）系统由基础模型驱动。本文介绍了一组新的基础模型，称为 Llama 3。它是一群原生支持多语言、编码、推理和工具使用的语言模型。我们最大的模型是一个密集型 Transformer，具有 405    B {405}\mathrm{;B}405B 参数和高达 128    K {128}\mathrm{;K}128K 个令牌的上下文窗口。本文对 Llama 3 进行了广泛的实证评估。我们发现 Llama 3 在众多任务上与 GPT-4 等领先语言模型相比质量相当。
【大模型】llama系列模型基础
idiotyi的博客
08-28 1092
llama基于transformer架构，与GPT相似，只用了transformer的解码器部分。本文主要是关于llama，llama2和llama3的结构解读。
人工智能 | MetaLlama大模型
ceshiren_com的博客
09-02 1099
我们介绍 LLaMA，这是一个基础语言模型的集合，参数范围从 7B 到 65B。我们在数万亿个Token上训练我们的模型，并表明可以专门使用公开可用的数据集来训练最先进的模型，而无需诉诸专有的和无法访问的数据集。特别是，LLaMA-13B 在大多数基准测试中都优于 GPT-3 (175B)，
Meta Llama模型下载量突破3.5亿次
haleycat的博客
09-04 371
Meta公司近日披露，旗下Llama开源AI模型家族在上个月的下载量超过2000万次，全球累计下载量已突破3.5亿次。Llama 3.1于7月发布，支持128K的上下文长度和405B参数版本，成为用户最受欢迎的版本。Meta与多家云服务商合作，Llama在主要云平台的使用量已增至原来的两倍，未来将继续扩展合作伙伴阵容。
如何在国内下载llama模型
最新发布
weixin_45783996的博客
09-04 288
由于项目需求要下载llama模型，本来觉得这是个很简单的事情，直接去huggingface上下载就行，但是没想到遇到了重重问题，于是写下这篇博客记录一下，希望对别人也有帮助！刚开始搜到的教程是官方给出的，先去https://llama.meta.com/llama-downloads/申请一个URL，再下载GitHub的脚本进行下载，但是我实操之后总是在下载过程中返回403forbidden，所以感觉这条路行不通，所以只能试一下通过huggingface能不能下载。
llama-factory llm - lora 模型合并与保存
11-18
llama-factory是一个用于深度学习模型开发和训练的开源库，它提供了各种工具和功能来简化模型开发的流程。在llama-factory中，llm和lora是两种常用的模型类型，它们分别代表了不同的深度学习模型架构。 要合并llm和lora模型，首先需要确保它们具有相同的输入和输出形状。然后可以使用llama-factory提供的模型合并工具来将它们合并成一个新的模型。在合并的过程中，需要考虑到每个模型的权重和参数，确保它们能够正确地融合在一起。 一旦模型合并完成，就可以使用llama-factory提供的模型保存功能将新模型保存到硬盘上。保存模型时，可以选择不同的格式和配置来满足不同的需求，比如选择不同的压缩算法或者保存为不同的文件类型。保存模型的同时，还可以保存模型的元数据和其他相关信息，以便在以后能够方便地加载和使用模型。 总的来说，llama-factory提供了一整套完善的工具和功能来处理深度学习模型的合并和保存。通过合并和保存模型，开发者可以更方便地管理和使用复杂的深度学习模型，从而加快模型开发和部署的速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值