【docker】——常用的使用gpu的命令

最新推荐文章于 2025-03-17 15:43:40 发布
最新推荐文章于 2025-03-17 15:43:40 发布
阅读量3.1k 收藏 3
点赞数
分类专栏： docker
原文链接：https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/user-guide.html
版权

Some examples of the usage are shown below:

Starting a GPU enabled CUDA container; using --gpus

docker run --rm --gpus all nvidia/cuda nvidia-smi

Using NVIDIA_VISIBLE_DEVICES and specify the nvidia runtime

docker run --rm --runtime=nvidia -e NVIDIA_VISIBLE_DEVICES=all nvidia/cuda nvidia-smi
Start a GPU enabled container on two GPUs

docker run --rm --gpus 2 nvidia/cuda nvidia-smi
Starting a GPU enabled container on specific GPUs

docker run --gpus '"device=1,2"' nvidia/cuda nvidia-smi --query-gpu=uuid --format-csv
uuid
GPU-ad2367dd-a40e-6b86-6fc3-c44a2cc92c7e
GPU-16a23983-e73e-0945-2095-cdeb50696982
Alternatively, you can also use NVIDIA_VISIBLE_DEVICES

docker run --rm --runtime=nvidia -e NVIDIA_VISIBLE_DEVICES=1,2 nvidia/cuda nvidia-smi --query-gpu=uuid --format=csv
uuid
GPU-ad2367dd-a40e-6b86-6fc3-c44a2cc92c7e
GPU-16a23983-e73e-0945-2095-cdeb50696982
Query the GPU UUID using nvidia-smi and then specify that to the container

nvidia-smi -i 3 --query-gpu=uuid --format=csv
uuid
GPU-18a3e86f-4c0e-cd9f-59c3-55488c4b0c24

docker run --gpus device=GPU-18a3e86f-4c0e-cd9f-59c3-55488c4b0c24 nvidia/cuda nvidia-smi

Docker命令_各种参数简介（run、v、rm、-w、-u、-e）
sun0322
07-29 7万+
■前言 DevOps https://blog.csdn.net/sxzlc/article/details/107145850 ■快速入门 https://blog.csdn.net/qq805934132/article/details/82939582 https://blog.csdn.net/hnmpf/article/details/80924494 ■帮助文档 https://docs.docker.com/engine/reference/run/ ■介绍 ...
在Linux服务器上部署BERT预训练模型——展示了如何在Linux服务器上使用Docker容器部署BERT预
AI天才研究院
08-07 2246
自然语言处理（NLP）技术一直以来都是非常热门的研究领域。深度学习（DL）也逐渐成为NLP的重要组成部分，并且BERT预训练模型已经成为事实上的标准模型。因此，了解BERT预训练模型及其部署至生产环境是一个必不可少的技能。本文将以BERT预训练模型的部署方式来介绍如何在Linux服务器上使用Docker容器部署BERT预训练模型。
Docker 容器配置NVIDIA环境
ydscc的博客
03-11 1113
这样，你的 Docker 容器就能正确使用 GPU 了！🚀 如果你遇到任何问题，请告诉我！如果输出 GPU 相关信息，说明 NVIDIA GPU 已成功在容器内运行。在 Docker 容器内安装 NVIDIA 以支持 GPU，需要使用。如果成功显示 GPU 信息，说明 NVIDIA 驱动已正确安装。如果你希望给正在运行的容器添加 NVIDIA 相关支持，可以。如果一切正常，你应该能看到你的 GPU 设备。如果你已经有一个 Docker 容器（如。并确保宿主机正确安装了。如果你的宿主机尚未安装。
docker（持续更新）
heishanlaoniu的博客
07-13 285
docker
Docker使用宿主机GPU驱动：绕开nvidia docker的神奇方法
最新发布
weixin_52582300的博客
03-17 502
当我们在一个docker的容器中想要使用GPU时，往往需要从docker image构建之初就开始使用nvidia docker。有的，兄弟，有的，这样的方法我问GPT了还有1种。
NVIDIA-Docker安装时输入sudo docker run --rm --gpus all nvidia/cuda:11.0.3-base-ubuntu20.04 nvidia-smi报错
weixin_47776213的博客
05-31 1057
nvidia-smi。
docker中使用gpu
热门推荐
qq_42152032的博客
06-22 1万+
本机想要启用gpu加速计算，需要由一张多余的nVidia显卡。需要提前禁用nouveau：lsmod | grep nouveau没有输出即禁用了 需要安装1、显卡驱动、2、cuda库(安装cuda会自动安装显卡驱动)3、cudnn(深度神经网络的GPU加速库,需要神经网络则安否则可以不安) 安装完成后，可以运行nvidia-smi查看GPU设备的状态。
docker run指定gpu运行
qq_15821487的博客
07-04 8829
请注意，如果您的 Docker 版本不支持 NVIDIA Container Toolkit，则无法使用 --gpus 标志来指定 GPU。在这种情况下，您需要手动配置容器以使用 GPU。要在 docker run 命令中指定 GPU，您需要使用 --gpus 标志。如果你要使用前3个gpu,可以这样配置docker run --gpus 3 your_image。–gpus “device=2,3”: 使用第三和第四个 GPU 设备。–gpus “device=0”: 使用第一个 GPU 设备。
docker run使用--gpus all报错
dacming的博客
09-05 1696
缺少依赖nvidia-container-toolkit（需yum安装）加载NVIDIA驱动nvidia-smi。验证可识别宿主机显卡。
docker 中使用gpu
ResumeProject的博客
03-12 4901
如果没有正确配置会报错：could not select device driver “” with capabilities: [[gpu]].
Linux企业应用——Docker（二）之Docker镜像的构建、Dockerfile的编写、镜像的优化
energylocked的博客
11-03 487
这两个指令都是用于设置容器启动后执行的命令，但CMD会被dockerrun后面的命令行覆盖，而ENTRYPOINT不会被忽略，一定会被执行。运行后，我们可以看到生成了一个容器，ID为d0911da8a366，名字自动生成为 recursing_blackwell。为RUN、CMD、ENTRYPOINT、ADD和COPY指令设置镜像中的当前工作目录，如果目录不存在会自动创建。运行镜像，-it会进入到容器终端，–rm运行结束后自动删除。的，封装容器为新的镜像时，容器层保存镜像变化的部分，并。
Python基础——VScode + docker进行代码调试
lifengss的博客
04-04 1万+
写在前面 之前项目组每个人都独立地在各自docker内进行开发，这次做AutoML涉及到了很多个团队的成员，结果发现有些小伙伴在自己的docker下开发模块，merge以后因为别人的环境不一致结果频繁报错，也是项目管理没经验。这次整理一个简易版的VS code和Docker联调的方式，以后项目开发先搭建公共环境，引以为戒。 准备工具 安装了docker服务的远程服务器，有vscode的本地笔记本。...
【深度学习】GPU使用教程
LogosTR_的博客
08-20 6795
深度学习下GPU使用教程
如何在docker中访问电脑上的GPU？如何在docker中使用GPU进行模型训练或者加载调用？
代码讲故事
02-02 3270
如何在docker中访问电脑上的GPU？如何在docker中使用GPU进行模型训练或者加载调用？
Docker 教程 - Docker run 命令
Mork, Lam的博客
02-15 499
Docker 教程 - Docker run 命令 输入参数 功能 -d, --detach Detached mode: run the container in the background and print the new container ID. The default is false. 后台模式，在后台运行容器，并打印其ID ...
docker中使用gpu_docker gpu(1)，2024年最新Linux运维线程池基础入门和简单实践以及使用技巧
2401_83620690的博客
04-17 1691
最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！
docker中没有nvidia驱动，且 nvidia-smi无输出，不报错的解决： --gpus all
YuQiao0303的博客
02-20 10000
问题 我的docker容器好好的，里面有nvidia驱动。导出成镜像后，再新建容器，却发现运行代码报错说我没有nvidia驱动。直接运行nvidia-smi命令，既不会报错，也没有输出。 解决 在docker run 的时候，加上 --gpus all: docker run --privileged --gpus all -p XXX:6006 -p YYY:22 -it -d -v 宿主共享文件夹路径:docker共享文件夹路径 -w 工作路径 --name 容器名称 镜像名称 /bin/bash
docker run 参数
mixboot
02-17 416
docker run 参数1.后台运行2.使用GPU3.容器退出时移除4.指定端口 1.后台运行 -d 2.使用GPU --gpus all 3.容器退出时移除 --rm 4.指定端口 -p
Docker入坑指南之RUN
weixin_30598225的博客
11-10 143
总有一些场景，我们需要自己制作一个镜像，可以快速还原环境，又不想被其他因素干扰镜像的纯净，这个时候，就可以选择Docker了，启动便捷，镜像还原很快捷，除了上手不容易。 最近入坑研究了一番，小有心得，故写一篇杂文，记录自己的踩坑经历。 安装Docker的过程可以参考其他前辈的文章，不再赘述，从实战角度说，如何构建一个自用的Docker镜像。 首选说一下Docker的几个名词，仓库是管理镜像的...
docker dify deepseek
03-04
### 配置和使用 Docker 中的 DeepSeek #### 安装依赖项 为了在 Ubuntu 上成功运行 DeepSeek，需先确保系统的 apt 软件包索引是最新的并安装必要的组件。这可以通过执行以下命令来完成： ```bash sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin ``` 这些指令会更新本地软件仓库列表，并安装 Docker 的核心引擎及其 CLI 工具、containerd 运行时以及支持插件[^1]。 #### 获取模型文件 对于希望利用预训练好的 DeepSeek 模型开展工作的用户来说，可以从 HuggingFace 平台或者其他官方发布的资源处获取已经转换成 GGUF 格式的模型文件（例如 `deepseek-7b.Q4_K_M.gguf`），以便后续加载到容器环境中使用[^2]。 #### 创建 Dockerfile 和启动脚本 创建一个新的目录作为项目根目录，在其中编写一个名为 `Dockerfile` 的文本文件定义构建镜像所需的环境设置；另外还需要准备一个用于初始化应用和服务的 shell 脚本 `start.sh`: **Dockerfile** ```dockerfile FROM nvidia/cuda:11.8.0-base-ubuntu22.04 WORKDIR /app COPY start.sh . RUN chmod +x ./start.sh && \ pip3 install --upgrade pip && \ pip3 install torch transformers accelerate sentencepiece CMD ["./start.sh"] ``` 此 Dockerfile 使用 NVIDIA CUDA 基础映像，并设置了工作目录 `/app`, 复制了启动脚本至该位置, 授予其可执行权限后通过 Python 包管理器安装了一些常用的库工具. **start.sh** ```bash #!/bin/bash set -e echo "Starting DeepSeek..." python3 -m venv env source env/bin/activate # Load the model and run inference code here. # For example: # python3 app.py ``` 上述 Shell 脚本负责激活虚拟环境并可以在此基础上进一步扩展以实现具体的推理逻辑或调用其他应用程序接口. #### 构建与运行容器实例 当完成了以上准备工作之后就可以回到宿主机终端窗口中切换回项目的顶层路径下并通过下面两条简单的命令来进行最终的操作——即打包生成自定义版本的 Docker 映像并将它作为一个独立的服务进程托管起来供外部访问请求处理之用了： ```bash docker build . -t my-deepseek-image docker run --gpus all -p 8501:8501 my-deepseek-image ``` 这里假设读者已经在自己的机器上面启用了 GPU 加速功能并且开放了相应的端口转发规则使得 Web 浏览器能够正常连接上由 Flask 或者 FastAPI 所搭建起的服务站点界面.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值