如何微调属于自己的大模型
1、首先我们需要一个能进行训练模型的库,这里选用 LLaMA-Factory
GitHub - hiyouga/LLaMA-Factory: A WebUI for Efficient Fine-Tuning of 100+ LLMs (ACL 2024)
2、需要先把代码git到本地,选用的是v0.8.2版本,执行以下命令构建docker镜像
docker build -t llamafactory .
3、执行以下命令来运行llamafactory容器
docker run -it --gpus=all \
-v ./hf_cache:/root/.cache/huggingface/ \
-v ./data:/app/data \
-v ./output:/app/output \
-p 7860:7860 \
-p 8000:8000 \
--shm-size 16G \
--name llamafactory \
llamafactory:latest
4、通过http://localhost:7869可以访问如下地址ÿ