LLaMA-Factory

已于 2024-09-17 10:42:02 修改
阅读量1.4k 收藏 23
点赞数 14
分类专栏： LLM & AIGC 文章标签： llama LLaMA-Factory 微调 sdt 指令 docker
于 2024-07-17 10:39:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovechris00/article/details/140488087
版权

在这里插入图片描述

文章目录

一、关于 LLaMA-Factory

A WebUI for Efficient Fine-Tuning of 100+ LLMs

Demo 视频

其他打开方式

  • Colab：https://colab.research.google.com/drive/1d5KQtbemerlSDSxZIfAaWXhKr30QypiK?usp=sharing
  • PAI-DSW: https://gallery.pai-ml.com/#/preview/deepLearning/nlp/llama_factory
  • 本地机器：请见如何使用

项目特色

  • 多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
  • 集成方法：（增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练、ORPO 训练等等。
  • 多种精度：16 比特全参数微调、冻结微调、LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 的 2/3/4/5/6/8 比特 QLoRA 微调。
  • 先进算法：GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ、PiSSA 和 Agent 微调。
  • 实用技巧：FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。
  • 实验监控：LlamaBoard、TensorBoard、Wandb、MLflow 等等。
  • 极速推理：基于 vLLM 的 OpenAI 风格 API、浏览器界面和命令行接口。

性能指标

与 ChatGLM 官方的 P-Tuning 微调相比，LLaMA Factory 的 LoRA 微调提供了 3.7 倍的加速比，同时在广告文案生成任务上取得了更高的 Rouge 分数。结合 4 比特量化技术，LLaMA Factory 的 QLoRA 微调进一步降低了 GPU 显存消耗。

在这里插入图片描述

二、如何使用

1、安装 LLaMA Factory

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

可选的额外依赖项：torch、torch-npu、metrics、deepspeed、bitsandbytes、hqq、eetq、gptq、awq、aqlm、vllm、galore、badam、qwen、modelscope、quality

Tip ： 遇到包冲突时，可使用 pip install --no-deps -e . 解决。

Windows 和 昇腾 NPU 用户指南 详见：https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md

2、数据准备

关于数据集文件的格式，请参考 data/README_zh.md 的内容。你可以使用 HuggingFace / ModelScope 上的数据集或加载本地数据集。

Note：使用自定义数据集时，请更新 data/dataset_info.json 文件。

3、快速开始

下面三行命令分别对 Llama3-8B-Instruct 模型进行 LoRA 微调、推理和合并。

llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml
llamafactory-cli chat examples/inference/llama3_lora_sft.yaml
llamafactory-cli export examples/merge_lora/llama3_lora_sft.yaml

高级用法请参考 examples/README_zh.md（包括多 GPU 微调）。

Tip: 使用 llamafactory-cli help 显示帮助信息。

4、LLaMA Board 可视化微调

由 Gradio 驱动

llamafactory-cli webui

5、构建 Docker

CUDA 用户：
cd docker/docker-cuda/
docker-compose up -d
docker-compose exec llamafactory bash
昇腾 NPU 用户：
cd docker/docker-npu/
docker-compose up -d
docker-compose exec llamafactory bash
不使用 Docker Compose 构建
CUDA 用户：
docker build -f ./docker/docker-cuda/Dockerfile \
    --build-arg INSTALL_BNB=false \
    --build-arg INSTALL_VLLM=false \
    --build-arg INSTALL_DEEPSPEED=false \
    --build-arg INSTALL_FLASHATTN=false \
    --build-arg PIP_INDEX=https://pypi.org/simple \
    -t llamafactory:latest .

docker run -dit --gpus=all \
    -v ./hf_cache:/root/.cache/huggingface \
    -v ./ms_cache:/root/.cache/modelscope \
    -v ./data:/app/data \
    -v ./output:/app/output \
    -p 7860:7860 \
    -p 8000:8000 \
    --shm-size 16G \
    --name llamafactory \
    llamafactory:latest

docker exec -it llamafactory bash
昇腾 NPU 用户：
# 根据您的环境选择镜像
docker build -f ./docker/docker-npu/Dockerfile \
    --build-arg INSTALL_DEEPSPEED=false \
    --build-arg PIP_INDEX=https://pypi.org/simple \
    -t llamafactory:latest .

# 根据您的资源更改 `device`
docker run -dit \
    -v ./hf_cache:/root/.cache/huggingface \
    -v ./ms_cache:/root/.cache/modelscope \
    -v ./data:/app/data \
    -v ./output:/app/output \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -p 7860:7860 \
    -p 8000:8000 \
    --device /dev/davinci0 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    --shm-size 16G \
    --name llamafactory \
    llamafactory:latest

docker exec -it llamafactory bash
数据卷详情
  • hf_cache：使用宿主机的 Hugging Face 缓存文件夹，允许更改为新的目录。
  • data：宿主机中存放数据集的文件夹路径。
  • output：将导出目录设置为该路径后，即可在宿主机中访问导出后的模型。

6、利用 vLLM 部署 OpenAI API

API_PORT=8000 llamafactory-cli api examples/inference/llama3_vllm.yaml

Tip ： API 文档请查阅 https://platform.openai.com/docs/api-reference/chat/create。

7、从魔搭社区下载

如果您在 Hugging Face 模型和数据集的下载中遇到了问题，可以通过下述方法使用魔搭社区。

export USE_MODELSCOPE_HUB=1 # Windows 使用 `set USE_MODELSCOPE_HUB=1`

将 model_name_or_path 设置为模型 ID 来加载对应的模型。在魔搭社区查看所有可用的模型，例如 LLM-Research/Meta-Llama-3-8B-Instruct。

8、使用 W&B 面板

若要使用 Weights & Biases 记录实验数据，请在 yaml 文件中添加下面的参数。

report_to: wandb
run_name: test_run # 可选

在启动训练任务时，将 WANDB_API_KEY 设置为密钥来登录 W&B 账户。

三、支持

1、模型

模型名模型大小Template
Baichuan 27B/13Bbaichuan2
BLOOM/BLOOMZ560M/1.1B/1.7B/3B/7.1B/176B-
ChatGLM36Bchatglm3
Command R35B/104Bcohere
DeepSeek (Code/MoE)7B/16B/67B/236Bdeepseek
Falcon7B/11B/40B/180Bfalcon
Gemma/Gemma 2/CodeGemma2B/7B/9B/27Bgemma
GLM-49Bglm4
InternLM27B/20Bintern2
Llama7B/13B/33B/65B-
Llama 27B/13B/70Bllama2
Llama 38B/70Bllama3
LLaVA-1.57B/13Bvicuna
Mistral/Mixtral7B/8x7B/8x22Bmistral
OLMo1B/7B-
PaliGemma3Bgemma
Phi-1.5/Phi-21.3B/2.7B-
Phi-34B/7B/14Bphi
Qwen/Qwen1.5/Qwen2 (Code/MoE)0.5B/1.5B/4B/7B/14B/32B/72B/110Bqwen
StarCoder 23B/7B/15B-
XVERSE7B/13B/65Bxverse
Yi/Yi-1.56B/9B/34Byi
Yi-VL6B/34Byi_vl
Yuan 22B/51B/102Byuan

Note : 对于所有“基座”（Base）模型，template 参数可以是 default, alpaca, vicuna 等任意值。但“对话”（Instruct/Chat）模型请务必使用对应的模板。

请务必在训练和推理时采用完全一致的模板。

项目所支持模型的完整列表请参阅 constants.py。

您也可以在 template.py 中添加自己的对话模板。

2、训练方法

方法全参数训练部分参数训练LoRAQLoRA
预训练✅✅✅✅
指令监督微调✅✅✅✅
奖励模型训练✅✅✅✅
PPO 训练✅✅✅✅
DPO 训练✅✅✅✅
KTO 训练✅✅✅✅
ORPO 训练✅✅✅✅
SimPO 训练✅✅✅✅

3、数据集

预训练数据集
指令微调数据集
偏好数据集

部分数据集的使用需要确认，我们推荐使用下述命令登录您的 Hugging Face 账户。

pip install --upgrade huggingface_hub
huggingface-cli login

4、软硬件依赖

必需项至少推荐
python3.83.11
torch1.13.12.3.0
transformers4.41.24.41.2
datasets2.16.02.19.2
accelerate0.30.10.30.1
peft0.11.10.11.1
trl0.8.60.9.4
可选项至少推荐
CUDA11.612.2
deepspeed0.10.00.14.0
bitsandbytes0.39.00.43.1
vllm0.4.30.4.3
flash-attn2.3.02.5.9
硬件依赖

* 估算值

方法精度7B13B30B70B110B8x7B8x22B
FullAMP120GB240GB600GB1200GB2000GB900GB2400GB
Full1660GB120GB300GB600GB900GB400GB1200GB
Freeze1620GB40GB80GB200GB360GB160GB400GB
LoRA/GaLore/BAdam1616GB32GB64GB160GB240GB120GB320GB
QLoRA810GB20GB40GB80GB140GB60GB160GB
QLoRA46GB12GB24GB48GB72GB30GB96GB
QLoRA24GB8GB16GB24GB48GB18GB48GB

2024-07-17（三）

AI工程仔
关注
专栏目录
大模型微调工具LLaMA-Factory docker安装、大模型lora微调训练
weixin_42357472的博客
06-03 491
参考：报错解决：1）Docker 构建报错 RuntimeError: can’t start new thread：参考：https://github.com/triton-inference-server/server/issues/5931暂时加 --privileged解决。
Llama3-8B+ LLaMA-Factory 中文微调
2401_84052244的博客
04-23 5673
Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！本教程就以Llama3-8B-Instruct开源模型为模型基座，通过开源程序LLaMA-Factory来进行中文的微调，提高Llama3的中文能力！
使用LlamaFactory进行模型微调：参数详解
kjzd123的博客
06-19 4593
在使用LlamaFactory进行模型微调时，理解和合理设置各个参数至关重要。确保了输入序列的合理长度，优化了注意力机制的实现，和则通过低秩矩阵和权重更新比例来提高微调效率和效果，而和则进一步细化了模型的训练策略。通过这些参数设置，您可以在计算资源有限的情况下，充分发挥预训练模型的性能，实现高效的模型微调。如果您对这些技术感兴趣，可以尝试在自己的项目中应用，并根据实际情况进行调整和优化。
微调大语言模型——LLaMa-Factory平台搭建（非常详细）零基础入门到精通，收藏这一篇就够了
Javachichi的博客
08-03 2398
我们采用 LLaMA-Factory平台进行微调语言模型，详细信息可以访问github主页（https://github.com/hiyouga/LLaMA-Factory）浏览。
在昇腾服务器上使用llama-factory对baichuan2-13b模型进行lora微调
yuanlulu的博客
07-02 1589
LoRA 提出在预训练模型的参数矩阵上添加低秩分解矩阵来近似每层的参数更新，从而减少适配下游任务所需要训练的参数。
LLaMA-Factory 基于docker的大模型多卡分布式微调
weixin_45385568的博客
02-13 3548
LLaMA-Factory是一个相当优秀的微调框架。这里提供一个dockerfile和一个train脚本，用于多卡微调，供大家参考。
llama-factory简介
春和景明
04-02 3054
LLaMA-Factory 是一个易于使用的大规模语言模型（Large Language Model, LLM）微调框架，它支持多种模型，包括 LLaMA、BLOOM、Mistral、Baichuan、Qwen 和 ChatGLM 等。多种模型：LLaMA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。集成方法：（增量）预训练、指令监督微调、奖励模型训练、PPO 训练、DPO 训练和 ORPO 训练。没有记录，都是调用的命令行。
从零开始的LLaMA-Factory的指令增量微调
AI相关从业分享
03-15 7522
LLaMA-Factory是开源的大模型微调框架，在模型微调方式、参数配置、数据集设置、模型保存、模型合并、模型测试以及模型试用上，提供了非常完备的开发接口。
llama-factory一个数据微调用例
07-26
"llama-factory"是一个数据微调的工具或平台，主要与LoRa（Long Range）技术相关，这是一项低功耗广域网通信技术，常用于物联网(IoT)应用。在给定的文件列表中，我们可以看到以下几个关键文件： 1. **dataset_info....
LLama-factory包，在github上面下载的
08-21
LLama-factory包，在github上面下载的
llama-factory llama-factory llama-factory llama-factory llama-fa
06-13
llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory
在Modelarts上微调量化Llama3，并用docker部署
普通人能赶追天才的方法只有坚持
06-10 1109
本文先使用llama-factory去微调llama3大模型，然后使用llama.cpp去量化模型并用docker部署到服务器上让qq机器人能够调用服务，实现qq群内问答。
用通俗易懂的方式讲解大模型：一个强大的 LLM 微调工具 LLaMA Factory
热门推荐
2301_78285120的博客
12-31 1万+
LLM 微调，也叫做 Fine-tuning，是深度学习领域中常见的一种技术，用于将预先训练好的模型适配到特定的任务或数据集上。这个过程包括几个主要步骤：基础模型选择：选择一个通用文本数据的基础语言模型，使其能够理解基本的语言结构和语义。准备训练数据集：选择一个与目标任务相关的较小数据集。微调：在此数据集上训练模型，但通常使用较低的学习率，以保留基础模型学到的知识，同时学习目标任务的特定知识。评估：在目标任务的验证集上评估模型的性能，需要准备评估数据集。
LLaMA-Factory：大语言模型微调框架（大模型）
2301_81940605的博客
07-18 2750
LLaMA-Factory 是一个国内北航开源的低代码大模型训练框架，专为大型语言模型（LLMs）的微调而设计
LLaMA-Factory：手把手教你从零微调大模型！
php源码
07-24 3212
在深度学习领域，模型微调通常指的是在预训练模型的基础上进行的进一步训练。预训练模型是在大量数据上训练得到的，它已经学习到了语言的基本规律和丰富的特征表示。然而，这些模型可能并不直接适用于特定的任务或领域，因为它们可能缺乏对特定领域知识的理解和适应性。模型微调通过在特定任务的数据集上继续训练预训练模型来进行，使得模型能够学习到与任务相关的特定特征和知识。这个过程通常涉及到模型权重的微幅调整，而不是从头开始训练一个全新的模型。
使用LLaMA-Factory微调大模型_llamafactory lora 合并
最新发布
月流霜的专栏
08-27 72
但是占用显存较多，显存是缓慢上升的过程，到二十多步的时候就开始爆了。启用webui共有两种方式，一种是直接启动，一种是通过docker启动。使用的GPU 第一块卡，刚开始的时候 批处理设置的太大，容易造成显卡内存溢出，根据自己的实际情况设置。接下来又问了一句”鲁迅可以打周树人吗“，回答是没有问题，就是速度慢了点，右边还有很多的参数可以调整。③使用stage=3的时候，每step 40s，刚开始使用显存很少，第一步也直接爆了。等待模型训练完成之后就可以使用，不过也可以直接运行开源的模型。2.使用webui。
AI智能体研发之路-模型篇（一）：大模型训练框架LLaMA-Factory在国内网络环境下的安装、部署及使用
人工智能领域博客
05-14 8556
本文先对LLaMA-Factory项目进行介绍，之后逐行详细介绍了该项目在国内网络环境下如何安装、部署，最后以Baichuan2-7B为例，通过讲解训练参数的方式详细介绍了基于LLaMA-Factory WebUI的大模型微调训练。篇幅有限，专栏内会持续更新，详细介绍大模型微调训练方法。如果觉得对你有帮助，期待您的关注，点赞、收藏或评论，您的支持是我持续码字的动力。
微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖
lqfarmer的博客
07-06 1792
数据集的格式要求在不同的阶段是不同的，本教程以sft阶段的数据集需求，将以系统自带的identity数据集和将自定义的一个商品文案生成数据集为例，介绍数据集的使用。更多详情可以在https://github.com/hiyouga/LLaMA-Factory/blob/main/data/README_zh.md 中找到相关解释。系统目前支持 alpaca 和sharegpt两种数据格式，以alpaca为例，整个数据集是一个json对象的list，具体数据格式为。
llama-factory
11-10
Llama-factory是一个由利马养殖而来的工厂。利马作为一种动物在许多地方被用于毛和肉制品的生产。利马的毛是非常珍贵和高质量的，可以用于制作织物、毛线和毛毯等。因此，利马养殖业成为了一个潜力巨大和有利可图的行业。 Llama-factory的主要目标是通过高效率和可持续的生产方式，生产出高质量的利马制品。工厂采用先进的技术和设备，提高生产效率和产品质量。同时，为了保护环境和动物福利，工厂也将注重科学农业和动物养殖实践。 工厂保证了从利马养殖到制品加工的全过程的可追溯性和质量控制。优质利马毛的选择、剪切和加工过程严格按照标准操作规程进行，确保最终产品的优质和安全。 Llama-factory还将致力于产品的创新和市场开拓。除了传统的利马制品，如毛线和毛毯，工厂还会开发出更多样化的产品，如利马织物和时尚配饰。通过与设计师和品牌的合作，工厂将推出独特且具有竞争力的产品，满足不同消费者的需求。 同时，Llama-factory也将关注社会责任和可持续发展。工厂将积极参与当地社区的福利和环保项目，为地方经济和环境的改善做出贡献。 总之，Llama-factory将在利马养殖和产品制造领域发挥重要作用。通过高质量的利马制品和可持续的生产方式，工厂将为消费者提供优质的产品，同时为当地社区和环境做出积极贡献。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI工程仔

请我喝杯伯爵奶茶~！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值