GLM3-6B微调实践-从0开始，搭建Web页面的训练平台

最新推荐文章于 2024-05-10 18:49:52 发布

多啦A梦的时光机

最新推荐文章于 2024-05-10 18:49:52 发布

阅读量735

点赞数 22

分类专栏： GLM3-6B微调实践文章标签：人工智能语言模型 gpt langchain python

本文链接：https://blog.csdn.net/yellowaug/article/details/138367165

版权

GLM3-6B微调实践专栏收录该内容

1 篇文章 0 订阅

订阅专栏

本文详细指导如何在满足Linux、Nvidia驱动和docker环境的基础上，使用LLaMA-Factory项目进行语言模型微调，涉及Dockerfile和docker-compose文件的本地化适配，以及模型部署、配置和使用过程。

摘要由CSDN通过智能技术生成

在根据本篇文章实践以前，请确保你满足了以下基础条件，如果你没有满足，请自行解决，本篇文章教的是如何搭建语言模型的微调平台，不教如何安装Linux 显卡驱动以及docker

本教程使用的是著名的开源项目“LLaMA-Factory”

基础环境

1.Linux 系统，Nvidia驱动

2.docker环境

3.显卡显存最少24G，本地运行内存最少64G

安装项目

从github上下载项目，运行如下命令

git clone https://github.com/hiyouga/LLaMA-Factory

下载完成后，进入项目，直接使用项目中的docker compose文件进行部署。但是由于在国内环境，所以需要对docker部署文件进行一些修改。需要修改的是Docker file 以及docker-compose 文件

关于项目中的docker部署文件内容不清楚的，可以借助这个GLM4智能体来理解Docker文件字段的含义，这个智能体也是作者自己做的，内部包含有大量的Dockerfile样例以及官方的文档作为基础知识库，精确度高，请放心使用

项目部署文件本地化适配

修改Dockerfile文件的内容如下,主要是修改了python源的地址，改成了清华的地址。

Dockerfile文件的修改内容

FROM nvcr.io/nvidia/pytorch:24.01-py3

WORKDIR /app

COPY requirements.txt /app/
RUN pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

COPY . /app/
RUN pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e .[deepspeed,metrics,bitsandbytes,qwen]


VOLUME [ "/app/hf_model", "/app/data", "/app/output" ]
EXPOSE 7860

CMD [ "python", "src/train_web.py" ]

"/app/hf_model" 是模型存放的路径

"/app/data" 数据集存放的路径

"/app/output" 微调模型后文件存放的路径

以上这些路径都是在容器中创建，用来存放宿主机映射数据文件的。

docker-compose.yml文件的修改内容

services:
  llama-factory:
    build:
      dockerfile: Dockerfile
      context: .
    container_name: llama_factory
    volumes:
      - ./hf_cache:/app/hf_model
      - ./data:/app/data
      - ./output:/app/output
      - /etc/localtime:/etc/localtime 
    environment:
      - CUDA_VISIBLE_DEVICES=0
    ports:
      - "7860:7860"
    ipc: host
    deploy:
      resources:
        reservations:
          devices:
          - driver: nvidia
            #count: "all"
            device_ids: ['0']
            capabilities: [gpu]
    restart: unless-stopped

device_ids: ['0'] 当服务器有多张显卡以后，需要修改成该字段，该字段的意思是映射第0号显卡进入容器中，当然如果你有其他显卡，这个数字可以是1，也可以是2