Windows10 DockerDesktop 深度学习环境镜像构建

引言

最近在参加一个遥感目标检测比赛,要求将代码及运行环境打包成docker镜像发送过去,这里记录一下自己的镜像配置过程


Docker安装

在windows10上安装好DockerDesktop后,启动发现程序弹出报错窗口在这里插入图片描述
参考链接解决了问题
由于下载国外镜像速度较慢,最好设置一下镜像加速。加速设置如下图所示在这里插入图片描述
可用的镜像有

镜像加速地址
Docker 中国官方镜像https://registry.docker-cn.com
科大镜像站https://docker.mirrors.ustc.edu.cn
阿里云https://<your_code>.mirror.aliyuncs.com

DockerDesktop将下载的镜像和中间产生的数据默认保存在C盘,非常占用C盘空间,建议将其修改到其他的盘下,可以参考链接

构建深度学习环境

docker安装还有很多其他的坑,上面只是列出了我当时遇到的,这里假设你的docker已经安装好了。docker中的每一个镜像可以理解为一个轻量的虚拟机,对于深度学习来说,首先需要安装一个基础的操作系统镜像,我这里选择的是nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu18.04,其他版本镜像可以在dockerHub中搜到
打开我们的cmd,下载上述基础镜像

docker pull nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu18.04
# 对应的还有一个nvidia/cuda:11.0.3-cudnn8-devel-ubuntu18.04版本
# runtime版本安装的cuda比较精简,cuda-11.0目录下没有bin目录也没有nvcc等指令,主要用于直接运行深度学习代码
# devel是开发版本,cuda安装的很全,同时镜像也更大,如果需要进行涉及cuda的编译开发等工作,需要下载这个镜像

下载完成后,可以使用指令docker images查看已下载的所用镜像,请记住刚刚下载的镜像ID
在这里插入图片描述
运行镜像得到一个对应的容器,如果把镜像比作类,那么容器就是镜像的一个实例对象
在这里插入图片描述
有的人在运行上述指令时可能会遇到报错

unknown flag: --gpus
See 'docker run --help'.

这是因为,虽然我们在容器里面构建了一个镜像操作系统,但是该系统使用的硬件(例如GPU)仍然是宿主机的,我们需要将宿主机的GPU映射到容器中,可以参考链接解决。如果–gpus all指令运行成功,将进入此容器的bash控制台,输入指令nvidia-smi后可以看到GPU相关的信息
在这里插入图片描述
上述ubuntu镜像是一个比较纯净的系统,一些基础的指令都没有,所以首先需要安装一些基础的包

apt update
apt install -y wget build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev libbz2-dev liblzma-dev

接下来就是正常的安装python环节,当前目录为根目录/

mkdir python
cd python
wget https://www.python.org/ftp/python/3.7.13/Python-3.7.13.tgz
tar -xvf Python-3.7.13.tgz
cd Python-3.7.13
./configure --enable-optimizations
make
make install
cd /
rm -r python
ln -s /usr/local/bin/python3 /usr/local/bin/python
ln -s /usr/local/bin/pip3 /usr/local/bin/pip

现在就可以将我们的深度学习代码从宿主机移动到容器中了。首先Ctrl+P+Q退出容器,在cmd中输入指令

docker cp 本地目录 容器ID:容器目录

到这里整个基础的深度学习环境就搭好了,如果需要配置和代码相关的具体库,操作和在普通linux系统上配置没有区别(例如Pytorch的安装等等)

生成镜像

生成上述容器对应的镜像后,在其他主机的docker下运行该镜像就可以直接获得配置好环境的容器了,这大大节省了我们的时间!

# 生成容器对应的镜像
docker commit -m="描述信息" -a="作者" 容器ID 目标镜像名:TAG
# 镜像打包到本地
docker save 目标镜像名:TAG > 本地目录/压缩包名称.tar
# 导入压缩包镜像
docker load -i 本地目录/压缩包名称.tar

注意

Windows系统上的docker运行在wsl上的,wsl是windows下的一款linux虚拟子系统,所以本质docker还是运行在linux上。当前wsl对cuda的支持不是很好,就算按照上述步骤安装了环境,–gpus all 指令也正常,环境仍然可能无法正常使用GPU。—— 2022年10月10日

  • 2
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值