【03】LLaMA-Factory微调大模型——多模型部署

最新推荐文章于 2024-07-30 16:33:29 发布
最新推荐文章于 2024-07-30 16:33:29 发布
阅读量1.7k 收藏 21
点赞数 32
分类专栏： LLaMA-Factory微调大模型 文章标签： llama AIGC 语言模型 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/H66778899/article/details/140465614
版权

为了构建法律领域的垂直应用大模型，记录使用LLaMA-Factory微调大模型的过程，以期UU们可以复刻与应用。上文【02】LLaMA-Factory微调大模型——LLaMA-Factory搭建已在本机成功部署模型微调框架，本文则在本机部署多种基础模型，为后续微调提供准备。

一、基础模型选择

 LLaMA-Factory框架所支持的模型如下表所示，覆盖主流的开源大模型，可按照自身需求进行应用。本文主要部署Qwen2、GLM-4、LLaMA3-8B-Chinese-Chat三个模型进行实验。

模型名模型大小Template
Baichuan 27B/13Bbaichuan2
BLOOM/BLOOMZ560M/1.1B/1.7B/3B/7.1B/176B-
ChatGLM36Bchatglm3
Command R35B/104Bcohere
DeepSeek (Code/MoE)7B/16B/67B/236Bdeepseek
Falcon7B/11B/40B/180Bfalcon
Gemma/Gemma 2/CodeGemma2B/7B/9B/27Bgemma
GLM-49Bglm4
InternLM27B/20Bintern2
Llama7B/13B/33B/65B-
Llama 27B/13B/70Bllama2
Llama 38B/70Bllama3
LLaVA-1.57B/13Bvicuna
Mistral/Mixtral7B/8x7B/8x22Bmistral
OLMo1B/7B-
PaliGemma3Bgemma
Phi-1.5/Phi-21.3B/2.7B-
Phi-34B/7B/14Bphi
Qwen/Qwen1.5/Qwen2 (Code/MoE)0.5B/1.5B/4B/7B/14B/32B/72B/110Bqwen
StarCoder 23B/7B/15B-
XVERSE7B/13B/65Bxverse
Yi/Yi-1.56B/9B/34Byi
Yi-VL6B/34Byi_vl
Yuan 22B/51B/102Byuan

二、准备阶段

在LLaMA-Factory文件下新建文件夹存放模型文件

更换pypi源为清华镜像进行加速

# 更换 pypi 源加速库的安装【建议】
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

换源成功如下图所示 

【提示】除了清华源以外还可以选择其他多个国内镜像

阿里云： http://mirrors.aliyun.com/pypi/simple/
中国科技大学： https://pypi.mirrors.ustc.edu.cn/simple/
豆瓣： http://pypi.douban.com/simple/
清华大学： https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学： http://pypi.mirrors.ustc.edu.cn/simple/

安装下列代码库（可选）

pip install deepspeed
pip install flash-attn --no-build-isolation

安装flash-attention时会出现报错或者超时情况，如下图所示 

该环节出现问题可参考以下这篇博文进行解决

关于flash-attention安装踩过的坑_flash-attn踩坑-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/weixin_44044132/article/details/137055014?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2~default~CTRLIST~Ctr-1-137055014-blog-136054392.235%5Ev43%5Epc_blog_bottom_relevance_base5&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2~default~CTRLIST~Ctr-1-137055014-blog-136054392.235%5Ev43%5Epc_blog_bottom_relevance_base5安装git-lfs，Git Large File Storage（简称Git LFS）是一个用于存储大文件的Git扩展。在传统的Git中，大文件的版本控制会导致存储库变得庞大且访问速度变慢。Git LFS通过将大文件存储在Git存储库之外的特殊服务器上，并在Git存储库中只保留指向这些大文件的指针来解决这个问题。

# 先安装git（如已安装可忽略）
sudo apt-get install git
#安装curl

# 安装apt-get源
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
# 安装git-lfs
sudo apt-get install git-lfs
# 初始化git-lfs
git lfs install

安装过程如下图所示 

安装完成后，对其初始化

三、Qwen-2模型

 Qwen是阿里巴巴集团Qwen团队研发的大语言模型和大型多模态模型系列。目前，大语言模型已升级至Qwen2版本。无论是语言模型还是多模态模型，均在大规模多语言和多模态数据上进行预训练，并通过高质量数据进行后期微调以贴近人类偏好。Qwen具备自然语言理解、文本生成、视觉理解、音频理解、工具使用、角色扮演、作为AI Agent进行互动等多种能力。详情可参考该链接。

Qwen2-7B · 模型库 (modelscope.cn)icon-default.png?t=N7T8https://www.modelscope.cn/models/qwen/Qwen2-7B从魔塔社区中克隆模型代码

git clone https://www.modelscope.cn/qwen/Qwen2-7B.git

克隆完成后如下图所示

使用LLaMA-Factory框架微调Qwen可参考以下官方教程

LLaMA-Factory - Qwenicon-default.png?t=N7T8https://qwen.readthedocs.io/zh-cn/latest/training/SFT/llama_factory.html

查看Qwen2模型本地的绝对路径

pwd

此后，启动LLaMA-Factory的web端，在浏览器中进行访问

llamafactory-cli webui

模型选择Qwen2-7B，路径替换为本地的绝对路径，后在Chat标签下加载模型 

模型加载成功后的web页面及命令行如下图所示

此后便可在页面中进行问答，模型成功加载，可以开始进行聊天

 四、GLM-4模型

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。 除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。 本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。我们还推出了支持 1M 上下文长度（约 200 万中文字符）的模型。详情可访问模型库。

glm-4-9b · 模型库 (modelscope.cn)icon-default.png?t=N7T8https://www.modelscope.cn/models/ZhipuAI/glm-4-9b从魔塔社区中克隆模型代码

完成后如下图所示

在原LLM虚拟环境中直接启动会依赖冲突

因此，创建新的虚拟环境GLM

conda create -n GLM python=3.11

创建好之后，克隆GLM-4的源代码，获取requirements.txt文件

git clone https://github.com/THUDM/GLM-4.git

之后，通过requirements.txt文件来更新依赖

pip install -r requirements.txt

将tramsformers的版本更新至4.41.2

pip install --upgrade transformers=4.41.2

此后，在GLM虚拟环境中启动LLaMA-Factory的web端，在浏览器中进行访问

模型加载成功如下图所示 

五、Llama-3模型

 Llama3-8B-Chinese-Chat是一个针对中文和英文用户的指令调整语言模型，具有各种能力，如角色扮演和工具使用，建立在Meta-Llama-3-8B-Instruct模型之上。详情可见该链接。

GitHub - Shenzhi-Wang/Llama3-Chinese-Chat：这是第一个基于 Meta-Llama-3-8B-Instruct 模型，通过 ORPO 专门针对中文进行微调的中文聊天模型。icon-default.png?t=N7T8https://github.com/Shenzhi-Wang/Llama3-Chinese-Chat从魔塔社区中克隆模型代码

git clone https://www.modelscope.cn/LLM-Research/Llama3-8B-Chinese-Chat.git

获取模型的绝对路径 

 启动LLaMA-Factory的web端，在浏览器中进行访问

 路径替换为本地的绝对路径，后在Chat标签下加载模型 

 加载成功如下图所示

 可通过网页端与模型进行简单交互，测试其部署效果

同时，可在后台实时查看显卡开销情况

nvidia-smi

小结

至此Qwen2、GLM-4、LLaMA3-8B-Chinese-Chat三个模型成功在本机完成了搭建，下文【04】LLaMA-Factory微调大模型——数据准备，将分析整理微调所用的数据，为后续的微调模型提供高质量、格式规范的数据支撑。欢迎您持续关注，如果本文对您有所帮助，感谢您一键三连，多多支持！

比伯476
关注
  • 32
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
LlamaFactory可视化微调大模型 - 参数详解
我码玄黄的博客
07-10 934
是一个用于微调大型语言模型的强大工具，特别是针对LLaMA系列模型。可以适应不同的模型架构和大小。支持多种微调技术，如全参数微调、LoRA）、QLoRA）等。还给我们提供了简单实用的命令行接口。支持多cpu训练，多任务微调，还有各种内存优化技术，如梯度检查点、梯度累积等。支持混合精度训练，提高训练效率。本文不再赘述的安装过程在的webui里面，一切微调都是可视化，方便我们入手。我们可以不用了解每个参数背后的具体实现手段，但一定要知道每个参数的含义，大模型的微调不是一蹴而就，而是不断更新和优化。
LLaMA-Factory快速部署
07-26
llama
llama-factory一个数据微调用例
05-26
llama-factory一个数据微调用例
部署微调框架LLaMA-Factory
m0_67876774的博客
06-24 801
1.我们在ChatGLM3的github官方页面上能看到对LLaMA-Factory的推荐。在Notebook中执行以下代码，拉取LLaMA-Factory项目到DSW实例。运行如下命令，如果显示llamafactory-cli的版本，则表示安装成功。，在工作空间列表页面中单击默认工作空间名称，进入对应工作空间内。在页面左上方，选择DSW实例所在的地域。安装LLaMA-Factory依赖环境。1.看到如下页面就已经部署成功。，进入DSW实例开发环境。页面中，单击快速开始区域。进入DSW开发环境。
llama-factory llama-factory llama-factory llama-factory llama-fa
06-13
llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。
炼丹炉里有煤灰
05-17 8042
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImplementedError: Architecture ‘LlamaForCausalLM’ not supported!
AI智能体研发之路-模型篇（一）：大模型训练框架LLaMA-Factory在国内网络环境下的安装、部署及使用
人工智能领域博客
05-14 7250
本文先对LLaMA-Factory项目进行介绍，之后逐行详细介绍了该项目在国内网络环境下如何安装、部署，最后以Baichuan2-7B为例，通过讲解训练参数的方式详细介绍了基于LLaMA-Factory WebUI的大模型微调训练。篇幅有限，专栏内会持续更新，详细介绍大模型微调训练方法。如果觉得对你有帮助，期待您的关注，点赞、收藏或评论，您的支持是我持续码字的动力。
LLama Factory 安装部署实操记录（二）
梦想是要有的，万一实现了呢！
12-20 6073
使用`web_demo.py`，部署网页端示例，报错`RuntimeError: probability tensor contains either `inf`, `nan` or element < 0` · Issue #1642 · hiyouga/LLaMA-Factory · GitHub。（2）另一种说法是，要更新代码，当前测试的是0.4.0版本的源码，未更新，大家有兴趣可以尝试一下，放在评论区。（1）一种说法是，原因是双卡推理，当前的确也出现该问题，A100上正常，双4090有问题。
微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖
lqfarmer的博客
07-06 1221
数据集的格式要求在不同的阶段是不同的，本教程以sft阶段的数据集需求，将以系统自带的identity数据集和将自定义的一个商品文案生成数据集为例，介绍数据集的使用。更多详情可以在https://github.com/hiyouga/LLaMA-Factory/blob/main/data/README_zh.md 中找到相关解释。系统目前支持 alpaca 和sharegpt两种数据格式，以alpaca为例，整个数据集是一个json对象的list，具体数据格式为。
LLaMA-Factory：大语言模型微调框架（大模型）
2301_81940605的博客
07-18 1256
LLaMA-Factory 是一个国内北航开源的低代码大模型训练框架，专为大型语言模型（LLMs）的微调而设计
Llama2-7B/13B chat模型（下载地址）.txt
08-14
根据提供的文件信息，我们可以了解到关于Llama2-7B与Llama2-13B两种不同规模的大模型及其对应的聊天版本。以下将详细介绍这些模型的特点、应用场景以及如何获取它们。 ### Llama2-7B与Llama2-13B简介 #### 1. **...
大模型部署-基于Java+多GPU实现LLaMA2推理部署-附项目源码-优质项目实战.zip
05-25
在当前的IT行业中，大模型部署是人工智能领域的一个重要话题，尤其对于自然语言处理和计算机视觉等应用。本文将深入探讨如何使用Java编程语言结合多GPU环境来部署LLaMA2大模型，同时提供了一个优质的实战项目源码，...
大模型部署-基于Rust+CUDA加速部署LLaMA-7b-附项目源码+流程教程-优质项目实战.zip
05-25
总的来说，"大模型部署-基于Rust+CUDA加速部署LLaMA-7b"项目提供了理论知识与实践操作的完美结合，不仅展示了如何利用现代编程语言和硬件加速技术提升模型性能，还为有志于深入研究大模型部署的开发者提供了宝贵的...
用 LLama-Factory 训练和微调 LLama3，打造你的专属 AI 模型！
数智笔记
05-19 1860
微调模型涉及调整预训练或基础模型的参数，使其能够用于特定任务或数据集，从而提升其性能和准确性。这个过程包括为模型提供新的数据，并修改其权重、偏差和某些参数以最小化损失和成本。通过这样做，这个新模型可以在任何新任务或数据集上表现良好，而无需从头开始，从而节省时间和资源。通常，当一个新的大型语言模型（LLM）创建时，它会在一个大型文本数据语料库上进行训练，其中可能包含潜在有害或不良内容。在预训练或初始训练阶段之后，模型会被微调加入安全措施，确保其避免生成有害或不良的响应。然而，这种方法并非完美无缺。
LLaMA-Factory全面指南：从训练到部署
最新发布
全世界的博客
07-30 866
LLaMA-Factory项目是一个专注于大模型训练、微调、推理和部署的开源平台。其主要目标是提供一个全面且高效的解决方案，帮助研究人员和开发者快速实现大模型的定制化需求。简化大模型训练流程：通过提供一系列预设的训练脚本和参数配置，降低用户在训练大模型时的技术门槛，使得即使是初学者也能轻松上手。增强模型微调能力：支持多种微调方法，如LoRA、QLoRA等，使用户能够根据特定任务需求对模型进行精细调整，从而提升模型性能。优化推理和部署体验。
【02】LLaMA-Factory微调大模型——LLaMA-Factory搭建
H66778899的博客
07-16 1192
【02】LLaMA-Factory微调大模型——LLaMA-Factory搭建
部署LLaMA-Factory及微调大模型测试
weixin_62081337的博客
05-20 803
通过上述两个方法之一，你可以解决 PyTorch 和 CUDA 版本不匹配的问题，从而确保 PyTorch 能够正确识别并利用 GPU 进行计算。注意：LLaMA Board 可视化界面目前仅支持单 GPU 训练，请使用。然后就可以访问web界面了。（这里还需要去服务器安全组设置安全端口）按照GitHub上介绍的过程安装即可。补充本地模型地址和数据集地址。
llama-factory SFT系列教程 (一)，大模型 API 部署与使用
sjxgghg的博客
04-11 7822
llama-factory 教程，实现大模型 api 部署；使用 llama_factory 的 API 部署有 vllm加速推理；
llama-factory llm - lora 模型合并与保存
11-18
llama-factory是一个用于深度学习模型开发和训练的开源库，它提供了各种工具和功能来简化模型开发的流程。在llama-factory中，llm和lora是两种常用的模型类型，它们分别代表了不同的深度学习模型架构。 要合并llm和lora模型，首先需要确保它们具有相同的输入和输出形状。然后可以使用llama-factory提供的模型合并工具来将它们合并成一个新的模型。在合并的过程中，需要考虑到每个模型的权重和参数，确保它们能够正确地融合在一起。 一旦模型合并完成，就可以使用llama-factory提供的模型保存功能将新模型保存到硬盘上。保存模型时，可以选择不同的格式和配置来满足不同的需求，比如选择不同的压缩算法或者保存为不同的文件类型。保存模型的同时，还可以保存模型的元数据和其他相关信息，以便在以后能够方便地加载和使用模型。 总的来说，llama-factory提供了一整套完善的工具和功能来处理深度学习模型的合并和保存。通过合并和保存模型，开发者可以更方便地管理和使用复杂的深度学习模型，从而加快模型开发和部署的速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

比伯476

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值