本地搭建LLaMA-Factory环境进行大模型调优

LLaMA Factory

LLaMA Factory快速对大模型进行快速调优，本文看一下如何本地搭建环境并调优，本文使用 ModelScope 社区中的模型，模型在国内，下载速度非常友好。

1. 下载最新代码

## LLaMA Factory官方
git pull https://github.com/hiyouga/LLaMA-Factory

3. 编译 Docker 并运行
   我添加了USE_MODELSCOPE_HUB=1，代表从 ModelScope 拉模型，所以训练时候需要使用 ModelScope 的 ID。docker 文件稍微修改一下，添加 python 镜像，否则打包非常慢。

FROM nvcr.io/nvidia/pytorch:24.01-py3

WORKDIR /app

COPY requirements.txt /app/
RUN pip install -i https://mirrors.aliyun.com/pypi/simple -r requirements.txt

COPY . /app/
RUN pip install -i https://mirrors.aliyun.com/pypi/simple -e .[metrics,bitsandbytes,qwen]

VOLUME [ "/root/.cache/huggingface/", "/app/data", "/app/output" ]
EXPOSE 7860

CMD [ "llamafactory-cli", "webui" ]

docker build -f ./Dockerfile -t llama-factory:latest .
docke