用通俗易懂的方式讲解大模型：使用 Docker 部署大模型的训练环境

最新推荐文章于 2024-05-04 20:05:00 发布
最新推荐文章于 2024-05-04 20:05:00 发布
阅读量2.9k 收藏 35
点赞数 24
分类专栏： 大模型理论与实战 大模型 文章标签： docker 人工智能 容器 语言模型 大模型 代码大模型 langchain
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_78285120/article/details/135301797
版权

之前给大家介绍了主机安装方式——如何在 Ubuntu 操作系统下安装部署 AI 环境，但随着容器化技术的普及，越来越多的程序以容器的形式进行部署，通过容器的方式不仅可以简化部署流程，还可以随时切换不同的环境。

实际上很多云服务厂商也是这么干的，用一台带有 NVIDIA 显卡的机器来部署多个容器，然后通过容器的方式来提供给用户使用，这样就可以充分利用显卡资源了。今天给大家介绍一下如何使用 Docker 的方式来部署我们之前部署过的 AI 环境。

目标

我们可以跟之前一样制定一个小目标：

  • 在 Docker 容器中可以正常执行nvidia-smi命令

  • 在 Docker 容器中可以正常执行python -c "import torch; print(torch.cuda.is_available())"命令

好奇的同学可能会问，为什么不在 Docker 容器中执行nvcc --version命令呢？这个问题留到后面再解释。

通俗易懂讲解大模型系列

技术交流

建了大模型技术交流群！ 想要学习、技术交流、获取如下原版资料的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2060，备注：来自CSDN + 技术交流

在这里插入图片描述

预安装工作

我们还是以 Ubuntu 22.04 操作系统为例，首先我们要安装 Docker，这里就不再赘述了，可以参考官方文档[2]进行安装。

Docker 安装完成后，如果你想以非 root 用户执行docker命令的话，还需要将当前用户添加到docker用户组中，命令如下：

# 先确保 docker 用户组已存在
sudo usermod -aG docker <user-name>

安装 NVIDIA 驱动

安装 NVIDIA 驱动的步骤可以参考之前的文章，这里就不再赘述了。

安装 NVIDIA Container Toolkit

NVIDIA Container Toolkit 允许开发者和用户将 NVIDIA GPU 的能力无缝地加入到 Docker 容器中。通过简单地安装一个插件，用户就可以运行为 GPU 优化的容器，无需进行任何修改。该工具集包括 NVIDIA 驱动、CUDA 等必要组件，确保 GPU 在容器环境中的高性能执行，对 AI、数据分析和高性能计算场景特别有用。

我们可以通过以下命令来安装 NVIDIA Container Toolkit：

# 先切换到 root 用户
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | apt-key add -
# 添加源
curl -s -L https://nvidia.github.io/nvidia-docker/ubuntu22.04/nvidia-docker.list > /etc/apt/sources.list.d/nvidia-docker.list
# 更新源
apt update
# 安装 NVIDIA Container Toolkit
apt -y install nvidia-container-toolkit
# 重启 Docker 服务
systemctl restart docker

安装完成后，系统会一并安装 NVIDIA Container Toolkit 的 CLI 命令（nvidia-ctk），我们可以运行该命令确认安装是否成功：

$ nvidia-ctk --version
NVIDIA Container Toolkit CLI version 1.13.5
commit: 6b8589dcb4dead72ab64f14a5912886e6165c079

然后我们就可以在 Docker 容器中运行nvidia-smi命令，验证是否可以在 Docker 容器中正常使用 NVIDIA 显卡了，我们下载一个简单的镜像来进行验证：

$ docker run --rm --gpus all nvidia/cuda:11.7.1-base-ubuntu22.04 nvidia-smi

Wed Aug 16 03:04:19 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.199.02   Driver Version: 470.199.02   CUDA Version: 11.7     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Quadro M6000        Off  | 00000000:03:00.0 Off |                  Off |
| 28%   38C    P8    13W / 250W |     15MiB / 12210MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
+-----------------------------------------------------------------------------+

可以看到，我们在 Docker 容器中可以正常使用 NVIDIA 显卡了。

下载 Docker 镜像

要运行 AI 环境，一般需要安装 CUDA 和 PyTorch，之前我们是在主机上安装这 2 个程序，但使用 Docker 的方式，我们可以直接下载已经安装好 CUDA 和 PyTorch 的镜像，这里推荐使用这个镜像：anibali/pytorch[4]，这个镜像中包含了 CUDA 和 PyTorch，我们可以通过以下命令来运行镜像：

$ docker run --rm --gpus all anibali/pytorch:1.13.0-cuda11.8-ubuntu22.04 nvidia-smi

Wed Aug 16 03:09:33 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.199.02   Driver Version: 470.199.02   CUDA Version: 11.8     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Quadro M6000        Off  | 00000000:03:00.0 Off |                  Off |
| 28%   38C    P8    13W / 250W |     15MiB / 12210MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
+-----------------------------------------------------------------------------+

可以看到 CUDA 版本显示的是 11.8，跟 Docker 镜像中的 CUDA 版本是一致的。

我们再来看在 Docker 容器中是否可以正常执行python -c "import torch; print(torch.cuda.is_available())"命令：

# 进入 Docker 容器
$ docker run -it --rm --gpus all anibali/pytorch:1.13.0-cuda11.8-ubuntu22.04 bash
$ user@32e8c83f88c3:/app$ python -c "import torch; print(torch.cuda.is_available())"
True

通过结果可以证明，容器中的 CUDA 和 PyTorch 程序可以正常使用。

为什么不在 Docker 容器中执行 nvcc 命令

回到原先那个问题，为什么不在 Docker 容器中执行**nvcc --version命令呢？我们可以在 Docker 容器中执行nvcc --version**命令，看看会发生什么：

user@32e8c83f88c3:/app$ nvcc --version
bash: nvcc: command not found

发现容器中找不到nvcc命令，但是 CUDA 又是可以正常访问，再看 CUDA 的安装目录：

user@32e8c83f88c3:/app$ ls /usr/local/cuda*
/usr/local/cuda:
compat  lib64  targets

/usr/local/cuda-11:
compat  lib64  targets

/usr/local/cuda-11.8:
compat  lib64  targets

可以看到在 CUDA 安装目录中并没有bin文件夹（一般nvcc命令会放到这个文件夹里面），这是因为有些 Docker 镜像为了节省资源，会将一些不需要的文件去掉，只保留最核心的文件，已达到减小 Docker 镜像大小的目的。

总结

Docker 安装与主机安装的方式相比，我们少安装了 CUDA 和 PyTorch 程序，多安装了NVIDIA Container Toolkit和下载 Docker 镜像，但整体花费的时间其实是减少了的（因为 CUDA 和 PyToch 安装时间比较长）。Docker 安装最大的好处就是可以随时切换不同的环境，而且不会影响到主机的环境。比如我们今天安装了 CUDA 11.x 的版本，后面程序升级了可能需要安装 CUDA 12.x 的版本，如果是主机安装的话，就要卸载老的 CUDA 再重新安装新的 CUDA，这样就比较麻烦了，但是如果是 Docker 安装的话，我们只需要下载新的 Docker 镜像就可以了，非常方便。希望今天的分享可以帮助大家更好的使用 Docker 来部署 AI 环境，如果有任何疑问，欢迎在评论区沟通讨论。

关注我，一起学习各种人工智能和 AIGC 新技术，欢迎交流，如果你有什么想问想说的，欢迎在评论区留言。

参考资料

  • How to Use the NVIDIA GPU in Docker Containers on Ubuntu 22.04 LTS[5]

  • NVIDIA Container Toolkit Installation Guide[6]

参考:

[2]

官方文档: https://docs.docker.com/engine/install/ubuntu/

[4]

anibali/pytorch: https://hub.docker.com/r/anibali/pytorch

[5]

How to Use the NVIDIA GPU in Docker Containers on Ubuntu 22.04 LTS: https://linuxhint.com/use-nvidia-gpu-docker-containers-ubuntu-22-04-lts/

[6]

NVIDIA Container Toolkit Installation Guide: https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

Python算法实战
关注
  • 24
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[算法前沿]--000-大模型LLaMA在docker环境搭建以及运行教程（含模型压缩）
学-> 思->用
03-15 5414
未来已来,大模型依据压缩模型的方式,可以在普通的PC上运行.
docker gpu 创建 训练环境_基于虚拟化的模型训练平台实践
weixin_29619251的博客
01-07 578
写在前面近几年，人工智能快速发展，与各行各业的结合也成为业界不断探索的方向。在金融科技领域，风控逐步从传统风控转向大数据风控以及智能风控，主要通过人工智能核心技术(知识图谱、机器学习、深度学习)作为主要驱动力，为金融业的各参与主体、各业务环节进行赋能，突出人工智能技术对于金融业的产品创新、流程再造、服务升级的重要作用。金融业凭借海量数据和多维度应用场景给金融风控发展应用提供了优良的...
使用 Docker 快速上手官方版 LLaMA2 开源大模型
为了不折腾而去折腾的那些事
07-21 2544
本篇文章，我们聊聊如何使用 Docker 容器快速上手 Meta AI 出品的 LLaMA2 开源大模型。
在Ubuntu22.04下使用Docker和FastChat部署大模型LLM
weixin_43589205的博客
04-12 1022
在Ubuntu22.04下使用Docker和FastChat部署大模型LLM
【Docker】Docker 中不能使用 nvidia-smi
Talk is cheap. Show me the code
04-23 823
docker 中执行 nvidia-smi 后报错： Failed to initialize NVML: Unknown Error
本地部署大模型ollama+docker+open WebUI/Lobe Chat
最新发布
shall_zhao的博客
05-04 1515
本篇基于windows环境下配置。
Docker AIGC等大模型深度学习环境搭建（完整详细版）
叶子的博客
04-21 7025
本文是《》（https://blog.csdn.net/suiyingy/article/details/130169592）专栏的一部分，所述方法和步骤基本上是通用的，不局限于AIGC大模型深度学习环境。ChatGPT、Stable Diffusion等大模型属于相对较新的模型，所以依赖的Pytorch经常为torch1.12以上版本。相应的CUDA版本则至少为CUDA 11.3，并且显卡驱动对应的CUDA版本号不能小于CUDA库的版本号。下面将以CUDA 11.8驱动安装为例。
AI大模型Docker部署CPU 版
qq_37550867的博客
04-23 192
快速部署极简版AI大模型Llama3
使用Docker进行模型部署
weixin_46599926的博客
08-24 1164
多个项目部署到一个服务器上的部署方式：使用Docker将项目封装在独立的容器中。
AI大模型基础环境搭建
qq_42778289的博客
10-24 3246
简单描述一下本文章里会教大家做的东西1、搭建大模型基础环境2、fastapi 封装接口 + 前端页面，做自己的语言模型3、github地址： https://github.com/lisiqil/start-chart本人手里也没有合适跑AI模型的机器，是在腾讯云上薅了一个新用户的福利，几十块租了一星期练手。后面机器到期了所以没法发链接给读者亲身体验，不过一些步骤有截图记录，同时项目上传了github仓库，会提供git地址。跑了 starchat（语言模型） 和 clip（图像识别）两个模型。
sklearn-flask-docker:使用Docker容器使用Flask部署sklearn模型的示例
03-21
使用Docker容器使用Flask部署sklearn模型的示例。 本教程需要基本的Docker知识。 脚步： 1.训练模型 在此示例中，我们使用Iris训练数据集训练玩具模型。要训​​练新模型，请运行以下命令： python train.py 这将...
homeland-docker::rocket: 使用 Docker 部署 Homeland
05-29
基于 Docker 的自动化部署方案。 系统需求 Linux Server [4 Core CPU, 4G Memory, 50G Disk, 64 位] - 建议 Ubuntu Server 14.04 , 或 用于文件存储。 使用说明 Versions 分支对应 Homeland 版本 master - ...
fastai-docker-deploy：使用Docker部署fastai模型
02-05
使用构建DeepLearning模型真的很容易-部署模型并非如此！ 因此，我试图找到一种便宜且简便的方法，以Docker作为REST-API（文件夹fastai-rest ）部署模型。 除此之外，我还使用开发了一个“前端”组件，以通过用启用...
前端高级进阶：使用docker高效部署你的前端应用
02-24
对于前端而言，在CI环境中使用也更容易集成开发，测试与部署。比如可以为流水线(Pipeline)设置Lint/Test/Security/Audit/Deploy/Artifact等任务，更好地把控项目质量。现在无论是前端，后端还是运维，都很强调devops...
docker-glpi:使用Docker部署GLPI的项目
05-05
使用Docker部署GLPI的项目目录 使用持久性数据进行部署mysql.env 码头工人组成.yml 环境变量时区 介绍使用docker安装并运行GLPI实例。 使用CLI部署 部署GLPI docker run --name mysql -e MYSQL_ROOT_PASSWORD=diouxx...
docker部署大模型启动器
qq_21258589的博客
04-14 135
代码 我的部署在C盘。
Docker torchserve 部署模型流程——以WSL部署YOLO-FaceV2为例
wangzitaotao的博客
06-08 1324
上面的代码不要随意修改，它来自BaseHandler文件的initialize函数，它的作用主要是加载model_dir，model_file，与serialized_file，眼熟吗？在load_yoloface_model函数导入之前被压缩的文件，比如模型文件、config文件等，注意导入文件的时机，否则？So，你可以自己找到临时路径，查看你想传入的文件是不是正确传入到model_dir，如果没有？如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
【转载】用通俗易懂的方式讲解大模型：使用 Docker 部署大模型的训练环境
Working harder, getting stronger!
03-15 332
Docker 安装与主机安装的方式相比，我们少安装了 CUDA 和 PyTorch 程序，多安装了和下载 Docker 镜像，但整体花费的时间其实是减少了的（因为 CUDA 和 PyToch 安装时间比较长）。Docker 安装最大的好处就是可以随时切换不同的环境，而且不会影响到主机的环境。
实操题：在docker上部署tomcat
06-13
以下是在 Docker 上部署 Tomcat 的基本实操步骤： 1. 下载 Tomcat 官方镜像 在 Docker 中部署 Tomcat 需要先下载 Tomcat 的官方镜像。可以在 Docker Hub 上找到 Tomcat 的官方镜像，使用以下命令下载： ``` docker pull tomcat ``` 2. 创建一个 Tomcat 容器 使用以下命令创建一个新的 Tomcat 容器： ``` docker run -it --name my-tomcat -p 8080:8080 tomcat ``` 该命令将创建一个名为“my-tomcat”的新容器，使用 Tomcat 镜像，并将容器的 8080 端口映射到主机的 8080 端口。`-it` 参数将终端连接到容器，以便在容器内执行命令。 3. 启动 Tomcat 容器 使用以下命令启动 Tomcat 容器： ``` docker start my-tomcat ``` 4. 访问 Tomcat Web 应用 在浏览器中访问 `http://localhost:8080`，即可看到 Tomcat 默认的欢迎页面。 5. 部署自己的 Web 应用程序 将自己的 Web 应用程序打包成 `.war` 文件，并将其拷贝到容器中的 `/usr/local/tomcat/webapps` 目录下即可。可以使用以下命令将 `.war` 文件拷贝到容器中： ``` docker cp my-app.war my-tomcat:/usr/local/tomcat/webapps/ ``` 注意：`my-app.war` 是你的 Web 应用程序的名称。 6. 重启 Tomcat 容器 使用以下命令重启 Tomcat 容器： ``` docker restart my-tomcat ``` 7. 访问自己的 Web 应用程序 在浏览器中访问 `http://localhost:8080/my-app`，即可访问自己的 Web 应用程序。注意：`my-app` 是你的 Web 应用程序的上下文路径。如果没有指定上下文路径，则可以使用 `http://localhost:8080/` 访问应用程序。 以上就是在 Docker 上部署 Tomcat 的基本实操步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值