4060显卡+LLaMA-Factory微调LLM——（四）Web UI

本地配置

系统：win10
**硬件：**i5-12490f+RTX4060

前置准备

目前本地微调大模型最常用的就是LLaMA-Factory，既可以用指令微调，又有Web UI，方便的很
github：https://github.com/hiyouga/LLaMA-Factory
首先将克隆到本地

git clone https://github.com/hiyouga/LLaMA-Factory.git

打开conda prompt，为什么不是cmd，因为我的pytorch等都是安装再conda环境下的，想利用cuda跑大模型，所以打开的是conda，而不是cmd

创建一个conda环境，这里说下，conda默认是base环境，可以新建环境，也可以就在base环境上面跑

conda create -n llm python=3.0

安装pytorch，已经安装过的可以忽略

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

进入最开始clone LLama-factory的文件夹下，运行下面两条

pip install -e .[torch,metrics]
pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl

然后逐一运行下面的指令，你就可以看到打开webui的链接了

Set CUDA_VISIBLE_DEVICES=0
Set GRADIO_SHARE=1
llamafactory-cli webui

本地打开链接后，出现下面的界面

这里可以选择模型的名称进行下载，然后再微调
具体的微调参数不在这里做过多介绍，官网都有

有几个点需要注意：

1. 下载大模型的时候，如果报错，可能是你网络不行，没办法直连到huggingface上面进行下载，那你就只能去modelscope下载模型了
2. 硬件配置，参考官网的硬件要求来，不要太过勉强，小心显卡冒烟

3. 不要一上来就训练很多轮，epochs设置建议由小到大去进行试探，如果你的显存已经满了，而epochs又很大的话，那么训练的速度会非常非常慢