cudnn镜像_Docker:小白入门 + 搭建GPU版PyTorch Docker镜像

最近由于一下原因要用到docker,作为一个小白,阿柴实在是花了很多的时间去学习它才算是明白了docker的机制。在学习的过程中,发现网上关于docker的资料大多很零散琐碎,对于一个初学者来时理解起来不是那么友好。所以阿柴在这里记录一下自己的学习过程,既是对自己的一个总结,也希望对读者有些许作用。 本篇文章大体分为四个部分:什么是docker、为什么要用docker、搭建GPU版PyTorch Docker镜像以及如何将自己的程序与依赖项打包进这个镜像中。实际上,在学习docker的过程中,刚开始最难懂的就各种命令中所带的参数。我们在讲解的过程中,将结合实际例子对参数进行说明,使得读者有更加形象化的理解。 一、docker与其docker的应用场景 我们下来看看正经的关于docker的介绍:

Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中,然后发布到任何流行的Linux机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口。

搜狗百科

初次看见这一段话其实可能不太好理解,什么是应用容器引擎?什么是虚拟化?等等问题都会困扰到我们。对于这种不太好理解的抽象概念。我们得结合具体的实例来进行讲解,我们来看这么一个场景:

在一个做计算机视觉研究的小组里,大家都有一台自己的用于平时工作的台式机,同时组里还有一台服务器。这台服务器上有这个小组的所有GPU计算资源。平时大家的工作模式是:在自己的台式机上写好自己的算法,调试好之后放到服务器上利用服务器的GPU去运行。

这样乍一看好像没什么问题,但是细细一想你就会发现这么模式的弊端。假设该小组有A、B、C、D四个人。A使用的框架是Pytorch,B使用的是tensorflow,C也同样是Pytorch,但是与A的版本不一样,D用的是caffe。那么问题来了,假设服务器上只有pytorch这个框架,B与D就要自己去安装相应的环境。当然这不是最重要的,也不是docker主要想解决的问题。最要命的在假设A只能在他目前所在的Pytorch版本上去运行,而C也是同样如此。那么两个人每次使用服务器的时候都要去重新装一遍对应版本的pytorch,这样岂不是很麻烦?

所以说docker就出现了,它使得一台服务器上可以装自己的环境(镜像)而与其它人的环境互补干扰。想要运行程序的时候,启动这个镜像就可以了。而且这个镜像是可以保存在硬盘里的(就是一个压缩文件),当你想在另一台服务器上,运行你写的算法的时候,你只要将你这个镜像导入到当前服务器的docker中(也就是前面所提到的让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中,然后发布到任何流行的Linux机器上),并启动它,就可以得到与你目前服务器一模一样的环境而不必担心各种依赖文件的版本问题。我们来看下图就能理解docker的运行机制了:

8c6d031849d650a1a239b10e33364081.png

可以看到,你可以在一个docker镜像文件里面再装一个操作系统,然后以此为基础搭建你的深度学习环境。而最终算法运行所需要的GPU资源等硬件资源则从宿主机获取。实际上,只要你想,你甚至可以在docker镜像文件里面再装docker。

了解完什么是docker之后呢就可以进行docker的安装了,具体的安装教程可以参考:

https://www.runoob.com/docker/docker-tutorial.html

docker安装

以windows为例,docker安装好之后,可以在cmd命令行中,输入docker -v查看当前docker版本,不报错即为安装成功:

836b9e08648391cdd71bd8a05992c1c5.png

二、搭建GPU版PyTorch Docker镜像 了解并安装完docker之后,我们来看看怎么配置GPU版PyTorch Docker镜像。

1)拉取基础的操作系统镜像

  • 关键命令:docker pull

  • 具体操作:docker pull nvidia/cuda:10.0-cudnn7-runtime-ubuntu16.04

56c67d02f76a9f9b8bdc4674b5818fb6.png

等待这个操作完成之后,使用 docker images 命令可以查看当前docker中存在的镜像:

44e2b1c772e1437684f1773c01bc2d67.png

我们可以看到最下面这一行的镜像就是我们所拉取的镜像。这个镜像中已经装好了ubuntu16.04的操作系统以及要用GPU所必须的CUDA和CuDNN。

2)安装需要版本的anaconda

在上一步的镜像拉取中,我们的镜像已经有了操作系统 。现在我们进入这个镜像也就会进入这个操作系统。进入之后就和你在正常ubuntu系统中安装anaconda没什么两样。

  • 关键命令:docker run -it -v E:/CHEN/uplaod:/workspace nvidia/cuda:10.0-cudnn7-runtime-ubuntu16.04

c31f7249605cd96c7a4619a40d6f1aaf.png上述命令解释一下:run表示运行指定镜像文件, -it表示以交互式的环境运行,-it是run的属性。-v表示将宿主机中的一个文件夹挂载到该镜像中,这里将宿主机E盘中的upload挂载到了镜像运行后的一个虚拟的文件夹workspace中。至于最后,就是你要运行的镜像的名称。命令运行成功后,会进入该镜像。可以看到该镜像已经安装了ubuntu,所以后面一行就已经从宿主机的命令行转到了ubuntu中了。

那么接下来的anaconda的安装就简单了。将anaconda的安装文件下载到upload中,这样对应镜像文件中的workspace文件夹内也相当于有了这个文件。然后cd /workspace后,执行bash anaconda的文件名即可安装。

安装完成之后对该镜像进行保存:

docker commit 镜像所在容器id 给保存的镜像取的名字以及版本号

例如这里我们可以:

docker commit 6700a3d7a2a2 test/anaconda:v0

同样,使用docker images命令可以看到我们保存之后的镜像文件

3)安装需要版本的pytorch
安装pytorch就更简单了, docker run 命令进入镜像之后,直接使用conda命令安装就行了,不过同样,安装完成之后要记得 docker commit 三、将自己的程序与依赖项放进这个镜像中运行 这个实际上在run命令后加-v,将程序所在的宿主机文件夹挂载到镜像中的一个虚拟文件夹就可以了。然后进入这个虚拟文件夹,平时怎么在ubuntu上运行这个程序的还怎么运行这个程序 四、将自己制作的docker上传到云上传到云之后呢,可以随时随地的将你制作的镜像pull下来。并在本地运行。具体操作推荐这个博客: csdn搜索:将docker镜像推送到阿里云镜像仓库

阿柴提示

以上若有你需要而查不到或有疑惑的项目,

请联系小编为你解答

Ps:欢迎关注公众号,获取更多深度学习、计算机视觉、图像分割领域资料:

fc913d0c9b4c013c130737250b8b8eea.png

  • 3
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值