LLaMA-Factory的概念与搭建

LLaMA-Factory是一个大型语言模型（Large Language Model）的训练与微调框架（Factory）。提供了基于Gradio的网页版工作台。

笔者在2025.3.30对其进行了解和部署，根据后续需要进行更新。

#1.环境搭建

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

cd LLaMA-Factory

conda create --name LLaMA-Factory python=3.10
conda activate LLaMA-Factory
pip install -e ".[torch,metrics]"

llamafactory-cli version	# 验证安装成功

#2.启动Gradio WebUI界面

llamafactory-cli webui		# `whereis llamafactory`看看执行文件在哪
# or
python src/webui.py

Tip：基于Gradio的WebUI代码位于src/llamafactory/webui

Bug处理：启动webui报错

File "/home/jin/anaconda3/envs/LLaMA-Factory/lib/python3.10/site-packages/gradio_client/utils.py", line 898, in get_type
 if "const" in schema:
TypeError: argument of type 'bool' is not iterable

解决：pip install pydantic==2.10.6

#3.WebUI的训练设置（待补充）

设置项：Model name

对于XX-YY-ZZ，如Baichuan-13B-Base。

• XX：模型名称
• YY：参数量
• ZZ：Base表示预训练模型，Chat表示基于Base微调的适应聊天的模型

设置项：Finetuning method

full

freeze

lora

#4.相关概念（待补充）

Q-LoRA

一种在消费级硬件上微调大型语言模型的微调方法。