Docker 配置 nvidia-docker 和 pytorch 的一些想法

已于 2022-11-24 15:29:29 修改
阅读量1.2k 收藏 1
点赞数
文章标签： docker linux ubuntu 深度学习
于 2022-11-23 15:33:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c0ach/article/details/128000777
版权

linux 如 Debia 或CentOS 下 Docker 安装 

参考Docker Community Edition 镜像使用帮助

自动安装

Docker 提供了一个自动配置与安装的脚本，支持 Debian、RHEL、SUSE 系列及衍生系统的安装。

以下内容假定

  • 您为 root 用户，或有 sudo 权限，或知道 root 密码；
  • 您系统上有 curl 或 wget
export DOWNLOAD_URL="https://mirrors.bfsu.edu.cn/docker-ce"
# 如您使用 curl
curl -fsSL https://get.docker.com/ | sh
# 如您使用 wget
wget -O- https://get.docker.com/ | sh

这里抄下ubuntu的安装方法

以下内容根据 官方文档 修改而来。

如果你过去安装过 docker，先删掉:

# 如果你过去安装过 docker，先删掉:
sudo apt-get remove docker docker-engine docker.io containerd runc

# 首先安装依赖:

sudo apt-get install apt-transport-https ca-certificates curl gnupg2 software-properties-common

# 根据你的发行版，下面的内容有所不同。你使用的发行版：ubuntu
# 信任 Docker 的 GPG 公钥:
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg


# 添加软件仓库:

echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.bfsu.edu.cn/docker-ce/linux/ubuntu \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null


# 最后安装

sudo apt-get update
sudo apt-get install docker-ce

Docker 组添加用户，设置允许普通用户操作 docker

1、 首先创建docker用户组，如果docker用户组存在可以忽略

sudo groupadd docker

2、把用户添加进docker组中

sudo gpasswd -a ${USER} docker

3、重启docker

sudo service docker restart

4、如果普通用户执行docker命令，如果提示get …… dial unix /var/run/docker.sock权限不够，则修改/var/run/docker.sock权限 使用root用户执行如下命令，即可

sudo chmod a+rw /var/run/docker.sock

windows 下安装英伟达驱动  WSL下安装cuda等

英伟达驱动 官网

WSL下建议安装最新的驱动 可以WSL 调用GPU驱动 （建议：最新版即可）

nvidia-smi #查看显卡信息 测试是否正确安装显卡

英伟达 cuda仓库  cuda不必和nvidia-smi显示的版本一致，但是建议要接近

 这里是官网 cuda 11.8

# Download Installer for Linux WSL-Ubuntu 2.0 x86_64
# 这里是 run 文件的 安装代码
wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run
sudo sh cuda_11.8.0_520.61.05_linux.run

# 这里是 deb文件安装代码

wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin
sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda-repo-wsl-ubuntu-11-8-local_11.8.0-1_amd64.deb
sudo dpkg -i cuda-repo-wsl-ubuntu-11-8-local_11.8.0-1_amd64.deb
sudo cp /var/cuda-repo-wsl-ubuntu-11-8-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda

安装完成后

这里还不可以使用nvcc -V

以下为设置环境变量

# nvcc -V 的设置

sudo vim .bashrc

# 在 .bashrc 最后添加以下内容
export PATH=/usr/local/cuda-11.8/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
#此处 11.8 和你安装的cuda版本一致

# 按下 ESC 后 输入 :wq 确认

source .bashrc
#确认更新

# 输入nvcc -V查看cuda
nvcc -V

测试 检查是否可以直接调用GPU

$ sudo docker run --rm --gpus all nvidia/cuda:11.0.3-base-ubuntu20.04 nvidia-smi
Thu Nov 24 07:26:40 2022
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 520.56.05    Driver Version: 522.25       CUDA Version: 11.8     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  On   | 00000000:01:00.0 Off |                  N/A |
| 48%   28C    P8     7W / 170W |     32MiB / 12288MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A        23      G   /Xwayland                       N/A      |
|    0   N/A  N/A        34      G   /Xwayland                       N/A      |
|    0   N/A  N/A        34      G   /Xwayland                       N/A      |
+-----------------------------------------------------------------------------+

--gpus all 这里是调用GPU 必须的代码

 补充内容

/etc/docker/daemon.json 参数详解

{
    "authorization-plugins": [],
    "data-root": "", 
     #Docker运行时使用的根路径,根路径下的内容稍后介绍，默认/var/lib/docker
    "dns": [],  
     #设定容器DNS的地址，在容器的 /etc/resolv.conf文件中可查看
    "dns-opts": [],
     #容器 /etc/resolv.conf 文件，其他设置
    "dns-search": [],
     #设定容器的搜索域，当设定搜索域为 .example.com 时，在搜索一个名为 host 的 主机时，DNS不仅搜索host，还会搜索host.example.com。注意：如果不设置，Docker 会默认用主机上的 /etc/resolv.conf来配置容器。
    "exec-opts": [],
    "exec-root": "",
    "experimental": false,
    "features": {},
    "storage-driver": "",
    "storage-opts": [],
    "labels": [],
     #docker主机的标签，很实用的功能,例如定义：–label nodeName=host-121
    "live-restore": true,
    "log-driver": "",
    "log-opts": {},
    "mtu": 0,
    "pidfile": "",
     #Docker守护进程的PID文件
    "cluster-store": "",
    "cluster-store-opts": {},
    "cluster-advertise": "",
    "max-concurrent-downloads": 3,
    "max-concurrent-uploads": 5,
    "default-shm-size": "64M",
    "shutdown-timeout": 15,
    "debug": true, 
     #启用debug的模式，启用后，可以看到很多的启动信息。默认false
    "hosts": [],
    #设置容器hosts
    "log-level": "",
    "tls": true,  
     #默认 false, 启动TLS认证开关
    "tlscacert": "", 
     #默认 ~/.docker/ca.pem，通过CA认证过的的certificate文件路径
    "tlscert": "", 
     #默认 ~/.docker/cert.pem ，TLS的certificate文件路径
    "tlskey": "",
     #默认~/.docker/key.pem，TLS的key文件路径
    "tlsverify": true,
     #默认false，使用TLS并做后台进程与客户端通讯的验证
    "tls": true,
    "tlsverify": true,
    "tlscacert": "",
    "tlscert": "",
    "tlskey": "",
    "swarm-default-advertise-addr": "",
    "api-cors-header": "",
    "selinux-enabled": false, 
     #默认 false，启用selinux支持
    "userns-remap": "",
    "group": "",
     #Unix套接字的属组,仅指/var/run/docker.sock
    "cgroup-parent": "",
    "default-ulimits": {
        "nofile": {
            "Name": "nofile",
            "Hard": 64000,
            "Soft": 64000
        }
    },
    "init": false,
    "init-path": "/usr/libexec/docker-init",
    "ipv6": false,
    "iptables": false,
    "ip-forward": false,
    #默认true, 启用 net.ipv4.ip_forward ,进入容器后使用sysctl -a|grepnet.ipv4.ip_forward查看
    "ip-masq": false,
    "userland-proxy": false,
    "userland-proxy-path": "/usr/libexec/docker-proxy",
    "ip": "0.0.0.0",
    "bridge": "",
    "bip": "",
    "fixed-cidr": "",
    "fixed-cidr-v6": "",
    "default-gateway": "",
    "default-gateway-v6": "",
    "icc": false,
    "raw-logs": false,
    "allow-nondistributable-artifacts": [],
    "registry-mirrors": [],
     #镜像加速的地址，增加后在 docker info中可查看。
    "seccomp-profile": "",
    "insecure-registries": [],
     #配置docker的私库地址
    "no-new-privileges": false,
    "default-runtime": "runc",
    "oom-score-adjust": -500,
    "node-generic-resources": ["NVIDIA-GPU=UUID1", "NVIDIA-GPU=UUID2"],
    "runtimes": {
        "cc-runtime": {
            "path": "/usr/bin/cc-runtime"
        },
        "custom": {
            "path": "/usr/local/bin/my-runc-replacement",
            "runtimeArgs": [
                "--debug"
            ]
        }
    },
    "default-address-pools":[{"base":"172.80.0.0/16","size":24},
    {"base":"172.90.0.0/16","size":24}]
}

设置国内镜像源代理

在 /etc/docker/daemon.json 文件 添加以下内容

 "registry-mirrors": [
        "https://docker.mirrors.ustc.edu.cn/",
        "http://hub-mirror.c.163.com"
  ]

安装nvidia-docker

# Setup the package repository and the GPG key
$ distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
      && curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
      && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
            sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
            sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
# Install the nvidia-docker2 package (and dependencies) after updating the package listing
$ sudo apt-get update
$ sudo apt-get install -y  nvidia-docker2
# Restart the Docker daemon to complete the installation after setting the default runtime
$ sudo systemctl restart docker
# test
$ sudo docker run --rm --gpus all nvidia/cuda:11.0.3-base-ubuntu20.04 nvidia-smi

报错及解决
1、gpg: 找不到有效的 OpenPGP数据
可能原因：不能访问 https://nvidia.github.io/libnvidia-container/gpgkey
解决：打开此网址，会自动下载 gpgkey 文件，之后 cd 到下载路径下运行

sudo apt-key add gpgkey


成功后会输出 OK

2、E: 无法定位软件包 nvidia-docker2
原因：

curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
            sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
            sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list


在这条命令中读取 https://nvidia.github.io/libnvidia-container/ubuntu20.04/libnvidia-container.list 这个网址内的信息并写到 /etc/apt/sources.list.d/nvidia-docker.list 文件中。查看本地相应文件，发现该文件为空，说明在写入文件时出现了问题，可能与文件权限有关，从而影响了下载源的更新。

解决：访问上述地址，复制网址中的文本，通过 sudo vim 写入到本地的相应文件。

注意：
1、$distribution 需要替换为相应系统版本号，如上面链接中的 ubuntu20.04。
2、对于 1.6.0 之前的 NVIDIA Container Toolkit 版本，应使用 nvidia-docker 存储库而不是上面的 libnvidia-container 存储库。

之后按照官方的方法安装和测试。

# Install the nvidia-docker2 package (and dependencies) after updating the package listing
$ sudo apt-get update
$ sudo apt-get install -y  nvidia-docker2
# Restart the Docker daemon to complete the installation after setting the default runtime
$ sudo systemctl restart docker
# test
$ sudo docker run --rm --gpus all nvidia/cuda:11.0.3-base-ubuntu20.04 nvidia-smi


# 最后一行有 --gpus all 才能正确调用 GPU驱动
D·B·Walter
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
『CV学习笔记』docker和nvidia-docker离线安装
AI新视界
08-08 1120
docker和nvidia-docker离线安装。
nvidia-docker部署pytorch服务【GPU工作站】
什么都干的派森
11-15 648
打印了下面这段输出，说明 nvidia-docker 安装成功了。检查一下宿主机cuda和容器cuda版本是否对应。nvidia-docker 一般容器启动命令如下。安装 nvidia-docker。部署gpu服务的关键参数是。启动一个简单的容器测试一下。参考nvidia官方。centos安装方法。ubuntu安装方法。
docker用gpu的参数_nvidia-docker 配置GPU
weixin_31309419的博客
12-30 995
-- WARNING, the following logs are for debugging purposes only --I1222 07:23:32.708870 78755 nvc.c:282] initializing library context (version=1.3.0, build=16315ebdf4b9728e899f615e208b50c41d7a5d15)I122...
使用 Docker + NVidia 运行 Pytorch 验证 GPU 是否性能高效
ndscvipuser的专栏
03-11 2431
本文主讲体验，方便深入理解为什么 GPU 这么高效，以及相关的对应措施。
安装nvidia-docker2出现gpg: 找不到有效的 OpenPGP 数据及E: 无法定位软件包 nvidia-docker2错误解决方案
最新发布
qq_66768718的博客
07-17 797
这个错误应该是网络的原因，我们可以进入到这个网站中将文件下载下来，然后cd到文件目录当中运行：sudo apt-key add gpgkey。运行成功会显示OK。此时运行步骤二还是回报无法定位软件包的错误。4、此时可以正式安装nvidia-docker2。1、查看是否安装了nvidia-docker2。然后运行sudo apt-get update。2、安装nvidia-docker2。此时会从网站下载东西，我下载时很慢。这样应该算是安装完成了。
使用 Docker + NVidia 运行 Pytorch 验证 GPU 是否真的有效
ndscvipuser的专栏
03-11 2106
继续带 GPU 干活之旅，完成先决条件的理解与深入。
docker挂载NVIDIA显卡运行pytorch
didao8733的博客
02-05 1084
本文为作者原创，转载请注明出处（http://www.cnblogs.com/mar-q/）by 负赑屃 写在前面： 　　请参考之前的文章安装好CentOS、NVIDIA相关驱动及软件、docker及加速镜像。 　　主机运行环境 $ uname -a Linux CentOS 3.10.0-514.26.2.el7.x86_64 #1 SMP Tue Jul 4 ...
深度学习docker环境配置之nvidia-docker安装使用
qq_41776453的博客
03-27 1万+
docker容器技术–。：Anaconda用于隔离不同的python环境；docker可以理解成在你的机器里面安装了一个独立的系统，因此它可以隔离不同的CUDA环境，还有着独立的文件系统，防止别人删掉你的实验和环境等。
史上最详细解决“搭建GPU版Pytorch Docker镜像”教程
SpadgerZ的博客
03-15 4431
CUDA版本对应的Pytorch版本 搭建GPU版本的Pytorch Docker镜像 了解并安装完Docker之后，来配置安装GPU版本的Pytorch Docker镜像。 1.拉取基础的操作系统镜像 关键命令：docker pull 具体指令：docker pull nvidia/cuda:10.1-cudnn7-devel-ubuntu16.04 操作完成之后，使用docker images命令查看当前docker中存在的镜像： 可以看到第一行就是所拉取的镜像，该镜像中已经安.
搭建GPU版PyTorch Docker镜像
热门推荐
独行穿落叶，闲坐数流萤
09-07 2万+
提要: 记录手动搭建GPU版PyTorch Docker镜像的过程。本地主机已经装好了显卡驱动，CUDA, cuDNN， 因此不再累述。本篇博客覆盖以下内容： Docker常用命令 搭建GPU版PyTorch镜像 Docker常用命令 ubuntu安装步骤 $ apt-get update $ apt-get -y install docker.io # 检查Docker服...
stylegan2-ada-pytorch:StyleGAN2-ADA-官方PyTorch实施
03-07
StyleGAN2-ADA —官方PyTorch实施 用有限的数据训练生成对抗网络Tero Karras，Miika Aittala，Janne Hellsten，Samuli Laine，Jaakko Lehtinen，Timo Aila 摘要：使用太少的数据训练生成对抗网络（GAN）通常会...
docker挂载NVIDIA显卡运行pytorch的方法
09-30
主要介绍了docker挂载NVIDIA显卡运行pytorch的方法，非常不错，具有参考借鉴价值,需要的朋友可以参考下
docker-jupyterhub-pytorch
04-03
在Docker中具有PyTorch（已启用GPU / CUDA）的JupyterHub。 先决条件 在使用此Docker映像之前，您需要 。 在Linux / Unix中的用法 有关如何使用的详细说明，请参阅“的“”部分。 以下命令将启动一个容器，并将...
docker、nvidia-docker、gcc、make、build-essential离线包.zip
09-20
资源中包含了docker、nvidia-docker、gcc、make、build-essential离线包及其依赖，主要供需要在离线环境部署基于docker的pytorch环境的码友们下载，其中的所有文件均可通过apt-get download命令下载，作者只是将包及...
如何在 Docker 容器中使用 NVIDIA GPU
学海无涯苦作舟的博客
12-16 4242
Docker 容器不会自动看到您系统的 GPU。这会导致依赖 GPU 的工作负载（例如机器学习框架）的性能降低。以下是将主机的 NVIDIA GPU 公开给容器的方法。 让 GPU 在 Docker 中工作 Docker 容器共享您主机的内核，但带有自己的操作系统和软件包。这意味着它们缺少用于与 GPU 交互的 NVIDIA 驱动程序。默认情况下，Docker 甚至不会向容器添加 GPU，因此普通人docker run根本看不到您的硬件。 概括地说，让 GPU 工作是一个两步过程：在映像中安装驱动程序，然.
docker安装gpu版本的pytorch
weixin_44142032的博客
05-19 3273
目录docker和nvidia-docker的区别docker安装docker-nvidia安装使用docker安装gpu版本的pytorch安装JupyterLab （可以选择不安装）命令解读 docker和nvidia-docker的区别 nvidia-docker是一个可以使用GPU的docker，nvidia-docker是在docker上做了一层封装，通过nvidia-docker-plugin，然后调用到docker上，其最终实现的还是在docker的启动命令上携带一些必要的参数。因此在安装nv
Docker 如何支持 NVIDIA GPU
美味小鱼的杂货铺
06-21 2960
我们在 Linux 系统上成功配置了 Docker 支持 GPU。利用 GPU 加速，您可以显著提升高性能计算任务的效率。无论是单个容器还是通过 Docker Compose 管理的多容器环境，Docker 的 GPU 支持都使得高性能计算变得更加便捷和高效。希望这篇博客对您在 Linux 上配置 Docker GPU 支持有所帮助！如果在配置过程中遇到任何问题，可以参考Docker 官方文档或社区论坛寻求帮助。
Docker利用DockerFile创建部署NVIDIA+PyTorch容器
guoqingru0311的博客
05-31 1295
Docker利用DockerFile创建部署NVIDIA+PyTorch容器
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值