LLM微调部署，如何创建属于自己的大模型

如何微调属于自己的大模型

1、首先我们需要一个能进行训练模型的库，这里选用 LLaMA-Factory

GitHub - hiyouga/LLaMA-Factory: A WebUI for Efficient Fine-Tuning of 100+ LLMs (ACL 2024)

2、需要先把代码git到本地，选用的是v0.8.2版本，执行以下命令构建docker镜像

docker build -t llamafactory .

3、执行以下命令来运行llamafactory容器

docker run -it --gpus=all \
    -v ./hf_cache:/root/.cache/huggingface/ \
    -v ./data:/app/data \
    -v ./output:/app/output \
    -p 7860:7860 \
    -p 8000:8000 \
    --shm-size 16G \
    --name llamafactory \
    llamafactory:latest

4、通过http://localhost:7869可以访问如下地址ÿ