docker创建深度学习pytorch环境--详细版

目录

一、获取镜像

二、创建容器

三、上传代码以及数据集(这一步可选,可直接跳到4)

四、容器中安装所需的包

1、docker 内pip安装太慢的问题,更换源(目前适用,可能变化,搜索对应的方法即可),直接输入以下命令

2、可能出现read time out的问题:

3、安装对应python依赖包

五、更新容器的apt源,安装opencv-python依赖库

1、首先更换阿里源,否则下载慢

2、此时如果直接开始训练,会报错,类似如下:

这里的解决方法有两种:

六、错误记录



一、获取镜像

直接从pytorch/pytorch Tags | Docker Hub中获取对应的pytorch版本

二、创建容器

docker run -it --ipc=host -v /data/xh:/data --name xh --runtime=nvidia pytorch/pytorch:1.8.1-cuda11.1-cudnn8-devel bash

其中,

-i允许对容器(container)内的标准输入进行交互

-t 在新容器内指定一个伪终端或者终端,-it一般搭配使用

--ipc=host 容器与宿主主机共享内存

-v: 在主机与容器之间共享数据和配置

/data/xh:/data:表示将宿主机(比如服务器本身)的/data/xh与容器的/data数据共享

--runtime=nvidia: 使用GPU

pytorch/pytorch:   对应-- 镜像的名字:对应的pytorch版本

--name Resnest: 容器命名为 xh

这里没有进行端口映射

三、上传代码以及数据集(这一步可选,可直接跳到4)

这里我是将数据集直接上传服务器下指定的目录,而代码通过pycharm与服务器目录相关联,关联以后在pycharm中修改代码会在服务器端同步更新,前面创建容器时,已经将服务器目录与容器目录相关联。

①数据集上传服务器指定目录

②代码与pycharm关联

输入相应的服务器信息,点击下一步

  

点击下一步 

在4处选择本地项目的目录与服务器对应的目录匹配 

四、容器中安装所需的包

创建完成以后默认直接进入容器,命令行最前面发生变化

1、docker 内pip安装太慢的问题,更换源(目前适用,可能变化,搜索对应的方法即可),直接输入以下命令

pip install -U pip
pip config set global.index-url http://mirrors.aliyun.com/pypi/simple
pip config set install.trusted-host mirrors.aliyun.com

2、可能出现read time out的问题:


      运行:pip --default-timeout=1000 install -U pip,修改下载设置时间,在重新设置

3、安装对应python依赖包

        numpy、opencv-python等

五、更新容器的apt源,安装opencv-python依赖库

这里是因为安装opencv-python包以后,需要使用到这一步

1、首先更换阿里源,否则下载慢

安装vim,使用别的也可以

apt-get update
apt-get install vim

目的是修改sources.list文件

vim /etc/apt/sources.list

在最前面编辑i输入阿里源(目前适用,这里可能随着时间可能变化,搜索相应的方法即可),后面的内容注释掉,否则会访问 http://archive.ubuntu.com/ubuntu

deb-src http://archive.ubuntu.com/ubuntu xenial main restricted #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted
deb-src http://mirrors.aliyun.com/ubuntu/ xenial main restricted multiverse universe #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted multiverse universe #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ xenial universe
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe
deb http://mirrors.aliyun.com/ubuntu/ xenial multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse #Added by software-properties
deb http://archive.canonical.com/ubuntu xenial partner
deb-src http://archive.canonical.com/ubuntu xenial partner
deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted multiverse universe #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ xenial-security universe
deb http://mirrors.aliyun.com/ubuntu/ xenial-security multiverse

依次输入esc→:→wq保存

更新刚才的设置

apt-get update

2、此时如果直接开始训练,会报错,类似如下:

ImportError: libSM.so.6: cannot open shared object file: No such file or directory

这里的解决方法有两种:

第一种:

apt-get install python-tk

apt-get install python-opencv -y --allow-unauthenticated

第二种:

①安装apt-file

apt-get update

apt-get install apt-file

apt-file update

②寻找依赖库

apt-file search libSM.so.6

会提示安装libsm6

③安装对应的依赖库

apt-get install libsm6

这个时候运行的话还会报错缺失其他的库,对应安装即可

六、错误记录

(10条消息) 深度学习错误记录_Xhlucky的博客-CSDN博客

docker拉取pytorch/pytorch镜像慢_Xhlucky的博客-CSDN博客

  • 5
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值