【02】LLaMA-Factory微调大模型——LLaMA-Factory搭建

为了构建法律领域的垂直应用大模型，记录使用LLaMA-Factory微调大模型的过程，以期UU们可以复刻与应用。上文【01】LLaMA-Factory微调大模型——基础环境配置完成了初步的底层配置，本文则进入LLaMA-Factory搭建过程。

一、环境激活与工具安装

首先激活前文所配置好的LLM环境

conda activate LLM

安装Git，Git是一种版本控制系统，后文将使用Git获取框架及多个模型的代码

sudo apt install git

二、获取项目代码

安装 LLaMA Factory，首先从GitHub仓库中获取该项目代码

LLaMA-Factory/README_zh.md at main · hiyouga/LLaMA-Factory · GitHubhttps://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md使用如下命令获取

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

获取成功后进入 LLaMA Factory文件夹

使用如下命令安装依赖，使用国科大pip源进行加速

pip install -e ".[torch,metrics]" -i https://pypi.mirrors.ustc.edu.cn/simple

可选的额外依赖项：torch、torch-npu、metrics、deepspeed、bitsandbytes、hqq、eetq、gptq、awq、aqlm、vllm、galore、badam、qwen、modelscope、quality

成功安装依赖如上图所示，如在安装的过程中遇到包冲突时，可使用以下命令进行解决

 pip install --no-deps -e

三、网页端启动

 使用LLaMA Board 可视化微调（由 Gradio 驱动）。Gradio是一个用于构建快速原型的开源库，可以创建界面来展示机器学习模型。用户可以直接在浏览器中与模型进行交互。使用如下命令进行创建。

llamafactory-cli webui

 运行成功后，在7860端口创建了前端页面，可通过浏览器进行访问

小结

至此LLaMA-Factory框架成功在本机完成了搭建，下文【03】LLaMA-Factory微调大模型——多模型部署将部署多种主流的大模型，为后续的微调模型提供选择。欢迎您持续关注，如果本文对您有所帮助，感谢您一键三连，多多支持！