模型部署 - docker

docker简介

Docker 是一种开源的容器化平台，允许开发者将应用程序及其依赖项打包到一个标准化的单元中，称为“容器”。这些容器可以在任何支持 Docker 的系统上运行，无需担心环境差异。

为什么需要 Docker？

在传统的开发中，不同的系统和环境可能导致应用程序运行时出现问题。例如，你在自己的电脑上开发了一个应用程序，运行得很好，但是当你将它部署到服务器上时，却出现了错误。这通常是因为两者的环境配置不同。

Docker 通过容器化技术解决了这个问题。容器包含了应用程序的所有必要组件（如代码、运行时、库、环境变量等），所以无论你把容器运行在哪台机器上，它的行为都是一致的。

Docker 的基本概念

1. 镜像（Image）： 镜像是一个只读的模板，包含了运行应用程序所需的一切。你可以把它看作是一个应用程序的快照。镜像可以从公共的 Docker Hub 上下载，也可以自己创建。

2. 容器（Container）： 容器是镜像的运行实例。你可以启动、停止、移动或删除容器，容器中的应用程序运行是隔离的，互不干扰。

3. Dockerfile： 这是一个文本文件，定义了如何构建 Docker 镜像。你可以在 Dockerfile 中指定基础镜像、需要安装的依赖项、需要运行的命令等。

4. Docker Hub： 这是一个公共的注册表，存储了大量预先构建好的镜像。你可以直接从 Docker Hub 上拉取镜像并运行。

Docker 的基本操作

• 安装 Docker： 在 Linux、Windows 或 macOS 上安装 Docker 后，你可以通过命令行与 Docker 交互。

  sudo apt-get update
  sudo apt-get install -y docker.io
  

• 运行容器： 你可以使用 docker run 命令运行一个容器。例如，运行一个简单的 Hello World 容器：

  docker run hello-world
  

  这个命令会从 Docker Hub 下载 hello-world 镜像，并在容器中运行它。运行成功后，你会看到容器输出 “Hello from Docker!” 的信息。

• 构建镜像： 使用 Dockerfile，你可以构建自己的镜像。假设你有一个简单的 Python 应用程序，并且已经写好了 Dockerfile，你可以通过以下命令构建镜像：

  docker build -t my-python-app .
  

  这里的 -t 参数用于为镜像命名，my-python-app 是镜像的名称，. 表示 Dockerfile 所在的目录。

• 查看正在运行的容器： 你可以使用 docker ps 查看当前正在运行的容器。

  docker ps
  

• 停止容器： 使用 docker stop 命令可以停止一个运行中的容器。

  docker stop <container_id>
  

  <container_id> 是容器的唯一标识符，你可以通过 docker ps 命令获取。

• 删除容器： 使用 docker rm 可以删除一个停止的容器。

  docker rm <container_id>
  

Docker 的优势

• 环境一致性： 无论你在什么系统上运行 Docker 容器，应用程序的行为都是一致的。
• 轻量级： Docker 容器共享主机操作系统的内核，启动速度快，资源消耗低。
• 易于部署： 只需将镜像推送到 Docker Hub 或其他注册表，其他人就可以轻松拉取并运行你的应用。

如何将模型打包进docker

要在 Linux 上使用 Docker 部署大模型，涉及到将模型和其依赖项打包进 Docker 容器，然后在容器中运行模型服务。以下是完整的步骤，包含从环境准备到部署测试的详细流程。

1. 安装 Docker

首先，需要在 Linux 系统上安装 Docker。

# 更新系统的包列表
sudo apt-get update

# 安装 Docker 及相关组件
sudo apt-get install -y docker.io

# 启动 Docker 服务并设置为开机启动
sudo systemctl start docker
sudo systemctl enable docker

2. 安装 NVIDIA Docker（可选，如果使用 GPU 加速）

如果你的模型需要使用 GPU 加速，需要安装 NVIDIA Docker，以便在 Docker 容器中使用 GPU。

# 设置 NVIDIA Docker 仓库
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

# 更新包列表并安装 nvidia-docker2
sudo apt-get update
sudo apt-get install -y nvidia-docker2

# 重启 Docker 服务
sudo systemctl restart docker

3. 准备大模型及相关文件

确保你已经准备好了大模型文件、依赖项（如 requirements.txt 或 environment.yml）、以及用于启动模型服务的脚本（如 app.py）。

示例 requirements.txt：

numpy==1



## 如何在linux上部署
在 Linux 上使用 Docker 部署大模型需要进行以下几个步骤。以下是详细的步骤说明：

### 1. 安装 Docker
首先，需要在 Linux 系统上安装 Docker。

```bash
# 更新系统的包列表
sudo apt-get update

# 安装 Docker 及相关组件
sudo apt-get install -y docker.io

# 启动 Docker 服务并设置为开机启动
sudo systemctl start docker
sudo systemctl enable docker

2. 安装 NVIDIA Docker（可选，如果使用 GPU 加速）

如果你的模型需要使用 GPU 加速，你需要安装 NVIDIA Docker 以便在 Docker 容器中使用 GPU。

# 设置 NVIDIA Docker 仓库
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

# 更新包列表并安装 nvidia-docker2
sudo apt-get update
sudo apt-get install -y nvidia-docker2

# 重启 Docker 服务
sudo systemctl restart docker

3. 创建 Dockerfile

Dockerfile 是定义 Docker 镜像构建过程的文件。你可以通过这个文件指定基础镜像、安装依赖库、复制模型文件等。

# 使用官方的深度学习基础镜像
FROM nvidia/cuda:11.3.1-cudnn8-devel-ubuntu20.04

# 安装 Python 和 pip
RUN apt-get update && apt-get install -y python3 python3-pip

# 安装模型所需的 Python 库
COPY requirements.txt /app/requirements.txt
RUN pip3 install --no-cache-dir -r /app/requirements.txt

# 复制模型文件到容器中
COPY model /app/model

# 设置工作目录
WORKDIR /app

# 定义运行命令（例如，启动模型服务）
CMD ["python3", "app.py"]

4. 构建 Docker 镜像

使用 Dockerfile 构建镜像。

# 在 Dockerfile 所在目录下执行
docker build -t my_large_model .

5. 运行 Docker 容器

使用构建好的 Docker 镜像运行容器。

# 如果需要 GPU 加速，使用 --gpus 参数
docker run --gpus all -d --name my_model_container -p 8080:8080 my_large_model

6. 测试模型服务

容器启动后，模型服务会在指定的端口（例如 8080）上运行。你可以通过以下命令查看容器的运行状态：

docker ps

然后，可以通过浏览器或 curl 命令访问模型服务：

curl http://localhost:8080/predict -d '{"input": "sample input data"}'

7. 管理和更新容器

• 查看日志：

docker logs my_model_container

• 停止容器：

docker stop my_model_container

• 重启容器：

docker start my_model_container

• 删除容器：

docker rm my_model_container

8. 备份和恢复模型

你可以将模型文件保存在外部卷中，以便在容器重新启动时保留数据：

docker run --gpus all -d --name my_model_container -p 8080:8080 -v /path/to/model:/app/model my_large_model

这样模型文件就会保存在宿主机的 /path/to/model 目录中，并映射到容器中的 /app/model 目录。

通过这些步骤，你可以在 Linux 上使用 Docker 部署并运行大模型。如果模型或应用程序需要更新，只需更新 Dockerfile 并重新构建和启动容器即可。