使用Llama-factory微调Llama3教程

longlovetongtong

已于 2024-06-21 18:43:18 修改

阅读量1.7k

点赞数 6

文章标签： llama nlp 人工智能语言模型

于 2024-06-21 18:37:55 首次发布

本文链接：https://blog.csdn.net/longlovetongtong/article/details/139861793

版权

一、登录OpenBayes进行注册登录

通过以下链接，新用户注册登录 OpenBayes ，即可获得 四个小时 RTX 4090免费使用时长 ！！

注册链接:https://openbayes.com/console/signup?r=zzl99_WBHM

二、创建容器

模型训练=》创建容器=》填写容器名称=》下一步

format,png

选择一台4090，2.1-gpu,python-3.10,cudu-12.1，然后执行

三、配置环境

首先需要下载llama-factory源码，执行如下命令

 #下载 
!git clone https://github.com/hiyouga/LLaMA-Factory.git

安装所需的模块，可以按需下载

cd LLaMA-Factory
#可选的额外依赖项：metrics、deepspeed、bitsandbytes、vllm、galore、badam、gptq、awq、aqlm、qwen、modelscope、quality
pip install -e .[torch,metrics]

注意：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

longlovetongtong

关注关注

6
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

LLaMA Factory单机微调的实战教程

herosunly的博客

04-24

20万+

本文主要介绍了使用LLaMA Factory对大模型进行单机微调的实战教程，希望对学习大语言模型的同学们有所帮助。文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调

LLaMA Factory多卡微调的实战教程（持续更新）

热门推荐

herosunly的博客

06-12

23万+

本文主要介绍了LLaMA Factory多卡微调的实战教程（持续更新），希望对学习大语言模型的同学们有所帮助。文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试

参与评论您还未登录，请先登录后发表或查看评论

LlamaFactory-webui：训练大语言模型的入门级教程

Daisy的博客

02-27

2295

本章内容，从如何拉取，我已经搭建好的Llamafactory镜像开始，以及构建webui界面，在到加载模型推理、私有化模型的训练及其验证，最后模型的导出。全程都有截图流程，一站式服务，无需你懂代码，无需你拥有高大上的AI基础知识，任何小白都可尝试训练属于自己的私有模型，并部署在自己的服务器上。

大模型开发和微调工具Llama-Factory--＞WebUI

weixin_46034279的博客

12-01

1933

LLaMA-Factory 支持通过 WebUI 零代码微调大模型。通过如下指令进入 WebUI。

llama-factory一个数据微调用例

07-26

"llama-factory"是一个数据微调的工具或平台，主要与LoRa（Long Range）技术相关，这是一项低功耗广域网通信技术，常用于物联网(IoT)应用。在给定的文件列表中，我们可以看到以下几个关键文件： 1. **dataset_info.json**：这是一个JSON格式的文件，通常用于存储数据集的相关元信息。这可能包括数据集的描述、大小、样本数量、特征列表、类别信息等。在微调过程中，理解数据集的内容和结构至关重要，因为这将影响模型的训练和性能。 2. **Client.py**：这个文件可能是Python脚本，提供了与"llama-factory"交互的客户端接口。它可能包含了数据加载、模型配置、训练循环、模型评估等功能。通过这个客户端，用户可以方便地定制和运行自己的数据微调任务，尤其是针对LoRa信号处理或数据分析的场景。 3. **checkpoint-2000**：这是一个检查点文件，通常在深度学习模型训练过程中保存。当模型达到特定迭代次数（这里是2000次）时，它的参数会被保存下来，以便后续恢复训练或者进行模型验证。这对于防止训练过程中的中断，以及避免从头

新手使用llama-factory框架进行lora微调全过程实例+部分代码及指令（纯小白使用教程）

m0_74021401的博客

01-25

823

在微调大模型的过程中从0开始，最开始搞不懂终端、服务器、环境等概念，看不太明白脚本也不会debug，这期间踩过的坑和犯过的傻不少。很多东西在实践上手之后才发现很多细节比想象中的要繁琐（当然也有可能是本人太倒霉了在整个微调过程中比别人都坎坷不少），所以打算写下这篇文章给一些同样需要做微调但比较小白的朋友做个参考。从整个流程开始到小白进门时可以规避的坑，希望能帮助到大家顺利应用实现微调，要是有大佬发现有问题存在也请指正

用 LLama-Factory 训练和微调 LLama3，打造你的专属 AI 模型！

数智笔记

05-19

2438

微调模型涉及调整预训练或基础模型的参数，使其能够用于特定任务或数据集，从而提升其性能和准确性。这个过程包括为模型提供新的数据，并修改其权重、偏差和某些参数以最小化损失和成本。通过这样做，这个新模型可以在任何新任务或数据集上表现良好，而无需从头开始，从而节省时间和资源。通常，当一个新的大型语言模型（LLM）创建时，它会在一个大型文本数据语料库上进行训练，其中可能包含潜在有害或不良内容。在预训练或初始训练阶段之后，模型会被微调加入安全措施，确保其避免生成有害或不良的响应。然而，这种方法并非完美无缺。

10 分钟，教你如何用 LLama-Factory 训练和微调 LLama3 模型

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识，以及DigitalOcean云平台使用教程

05-21

9897

在本文中，我们将了解如何使用 LLama Index 对 LLama3 进行微调。更重要的是，你只需要通过非常简单的步骤和几行代码，就能实现这一点。

llama-factory SFT系列教程 (一)，大模型 API 部署与使用

jieshenai的博客

04-11

1万+

llama-factory 教程，实现大模型 api 部署；使用 llama_factory 的 API 部署有 vllm加速推理；

llamafactory调用model

qq_38148600的博客

08-01

622

【代码】llamafactory调用model。

使用LLaMA-Factory微调Llama3大模型

T.S.Hao的博客

06-19

3619

本文详细介绍了如何在本地基于llama3中文预训练模型，使用LLaMA-Factory微调模型，实现特定领域的下游任务。

使用 LLaMA-Factory 实现对大模型函数调用功能

2401_84033492的博客

06-08

2963

OpenAI模型的function calling能力无疑是让人惊讶的，但自己实现大模型的function calling能力也是值得开心的。本文重点介绍了如何使用 LLaMa-Factory 微调框架来自己实现 function calling 能力，并在测试中验证了大模型的工具调用能力。

LLAma-Factory框架详细使用方法-0.8.3版本_llama factory使用

月流霜的专栏

08-13

442

注：如果你的模型比较大，一台显卡无法加载你的模型，你可以选择使用deepspeed单机多卡，DeepSpeed stage选择zero3，如果你一张显卡能够微调，但你有多张显卡的话，这里建议你使用zero2，可以提高接近两倍的训练速度，也就是节省一半的时间。如果你的模型参数比较大，一张卡无法加载你的模型参数，那么你就需要使用单机多卡来训练模型，你可选择deepspeed的zero3，如果你的一张显卡能够加载模型参数，你又有多张卡，可以选择zero2，使数据并行，这样可以大大减少训练时间。

llamafactory使用webui时如何指定端口运行？

最新发布

发现与探索

03-28

337

最近在autodl上使用llamafactory微调模型，想把webui的端口暴露到公网，方便随时查看训练的进度，最后发现只需启动前设置环境变量指定gradio的服务端口即可。

Llama-factory详细基础使用说明

dtl6540158的博客

10-08

1万+

对于初入算法的童鞋来说，有的可能还不知道llama-factory是什么，只知道大模型用到了这个框架，这是不行的。LLaMA-Factory 是一个低代码的大规模语言模型（LLM）训练框架，它主要面向研究人员和开发者，旨在简化大型语言模型的微调、评估和部署过程。白话说就是集合了当下LLM领域各种好用的开源或者自研的框架以及工具，进行封装以及优化，简化使用方法，方便大家对大模型进行微调和评估部署等工作，降低了使用难度。包括推理框架vllm等（具体可以看官网哈，下面有地址）易用性 vs. 性能。

使用LlamaFactory进行模型微调：参数详解

kjzd123的博客

06-19

1万+

在使用LlamaFactory进行模型微调时，理解和合理设置各个参数至关重要。确保了输入序列的合理长度，优化了注意力机制的实现，和则通过低秩矩阵和权重更新比例来提高微调效率和效果，而和则进一步细化了模型的训练策略。通过这些参数设置，您可以在计算资源有限的情况下，充分发挥预训练模型的性能，实现高效的模型微调。如果您对这些技术感兴趣，可以尝试在自己的项目中应用，并根据实际情况进行调整和优化。

Llama-factory UI更改端口号

醉意流年go的博客

12-16

1208

import osmain()

4060显卡+LLaMA-Factory微调LLM——（四）Web UI

Egolalal的博客

07-09

1589

LLama-factory 本地微调

服务器利用llama-factory微调llama3

01-09

### 使用 LLaMA-Factory 对 LLaMA3 模型进行微调 #### 准备工作环境为了确保顺利运行，需先准备服务器上的开发环境。这包括但不限于更新 `pip` 到最新版本以便更好地管理Python包。 ```bash python -m pip install --upgrade pip ``` #### 下载并配置 LLaMA-Factory 获取 LLaMA-Factory 的源码对于后续操作至关重要。通过GitHub仓库地址下载项目文件，并按照官方说明完成必要的设置[^3]。 ```bash git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory ``` #### 安装依赖项安装所需的Python库和其他资源是必不可少的一环。通常情况下，这些需求会被记录在一个名为 `requirements.txt` 文件里；执行下面这条指令即可自动处理好所有的依赖关系： ```bash pip install -r requirements.txt ``` #### 数据预处理针对特定任务调整模型之前，准备好训练数据集非常重要。根据具体应用场景的不同，可能涉及到文本清洗、分词等一系列准备工作。这部分的具体实现会依据所使用的数据集而变化，在此不做详述。 #### 开始微调过程一旦前期准备工作就绪，则可以通过指定参数启动实际的微调流程。具体的命令行选项取决于个人的需求以及硬件条件等因素。例如，如果希望利用GPU加速计算速度的话，可以在命令中加入相应的标志位。 ```bash python finetune.py \ --model_name_or_path path_to_model \ --train_file path_to_train_data.jsonl \ --output_dir output_directory \ --per_device_train_batch_size 8 \ --learning_rate 5e-5 \ --num_train_epochs 3\ --save_steps 10_000 \ --logging_steps 1_000 \ --do_train ``` 上述命令中的各个参数可以根据实际情况灵活调整，比如批量大小(`batch size`)、学习率(`learning rate`)等超参的选择应该基于实验结果不断优化[^1]。 #### 可视化调试借助于 Gradio 提供的强大功能，能够轻松搭建起直观易用的操作界面，使得开发者能够在浏览器端实时查看模型的表现情况。只需简单输入一条命令就能开启这个便捷的功能[^2]: ```bash llamafactory-cli webui ``` 这样不仅有助于监控整个训练进程的状态，同时也便于后期对生成的内容质量做出评估。