使用docker搭建深度学习环境-从零开始(下)

最新推荐文章于 2024-09-18 10:09:57 发布
最新推荐文章于 2024-09-18 10:09:57 发布
阅读量7.1k 收藏 67
点赞数 11
文章标签： docker 深度学习 tensorflow anaconda ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ambm29/article/details/96278696
版权

系列链接:

使用docker搭建深度学习环境-从零开始(上) https://blog.csdn.net/ambm29/article/details/96151358

 

使用docker搭建深度学习环境-从零开始(下) https://blog.csdn.net/ambm29/article/details/96278696

 

目录

 

5. 生成基于ubuntu镜像的容器，并对该容器进行基本设置

生成容器

进行基础设置

将容器(CONTAINER)提交(固化)为镜像(IMAGE)

6.安装Anaconda2和Anaconda3，并‘花式’配置环境变量。

拷贝安装文件

安装Anaconda

配置环境变量

pip与conda等命令的调用

7.分享你配置好的docker镜像。

将镜像/容器打包

从压缩包中读取镜像

 

5. 生成基于ubuntu镜像的容器，并对该容器进行基本设置

生成容器

        现在，可以运行ubuntu16.04的docker了

docker run -it docker:16.04

        其中，'-it'的中的‘i’表示持续运行该容器；‘t’表示告诉docker为该容器建立一个标准的命令行终端。

        ubuntu-16.04运行成功~

        命令行中的root表示该容器正以管理员权限运行，所以在输入命令时就不用在前面加上sudo了。

        ‘@’之后的2e01fd26138f则是该容器的名字，是一串随机生成的字符。这串字符后面还有用，先埋下伏笔。

进行基础设置

        现在，我们安装基础的网络命令：ping和ifconfig

apt-get update
apt install net-tools        # ifconfig 
apt install iputils-ping     # ping

        安装完成~，现在我们使用exit命令来关闭并退出容器‘2e01fd26138f’

        现在我们再启动ubuntu-16.04的docker镜像，输入ping和ifconfig，看看会发生什么。

docker run -it docker:16.04
ifconfig
ping

        可以看出，ping和ifconfig并没有被安装，那么刚才安装了ping和ifconfig的ubuntu环境去哪里了？

        这是由于我们在第二次输入‘docker run -it docker:16.04’时，是从原始的额docker:16.04镜像又生成了一个新的容器‘22c6844faf94’，而我们刚才安装ping和ifconfig的容器名字叫做‘2e01fd26138f’，这两个容器是源自同一个镜像生成的(还记得上文中说过的‘一个镜像可以运行成互不影响的多个容器’么？)。

        那么，已经安装ping和ifconfig的容器‘2e01fd26138f’去哪里了？我们先输入exit关闭容器‘22c6844faf94’。

        之后输入

docker ps -a

        来查看所有的容器。

        可以看到两个基于ubuntu-16.04的容器都在其中。

        我们进入刚才已经安装好ping喝ifconfig命令的容器中，看看他们还在不~

C:\Users\ChenJH>docker start -i 2e01fd26138f
root@2e01fd26138f:/# ifconfig
eth0      Link encap:Ethernet  HWaddr 02:42:ac:11:00:02
          inet addr:172.17.0.2  Bcast:172.17.255.255  Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:8 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:688 (688.0 B)  TX bytes:0 (0.0 B)

lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

root@2e01fd26138f:/# ping
Usage: ping [-aAbBdDfhLnOqrRUvV] [-c count] [-i interval] [-I interface]
            [-m mark] [-M pmtudisc_option] [-l preload] [-p pattern] [-Q tos]
            [-s packetsize] [-S sndbuf] [-t ttl] [-T timestamp_option]
            [-w deadline] [-W timeout] [hop1 ...] destination

        你看，他们都在 (￣▽￣)／

将容器(CONTAINER)提交(固化)为镜像(IMAGE)

        现在，我们想将容器‘固化’为镜像，这样就可以通过新生成的镜像生成新的容器。将容器转换(固化)成镜像的命令格式如下：

docker commit [CONTAINER ID] [IMAGE_NAME]:[TAG]

        如上，现在将已安装ping和ifconfig命令的容器‘2e01fd26138f’，固化为新的镜像ubuntu:test

docker commit 2e01fd26138f ubuntu:test

        随后，使用‘docker images’命令来查看现在所有的镜像。

docker images

        可以看到第一行就是刚刚新生成的镜像(ubuntu:test))，我们基于这个新镜像(ubuntu:test），生成一个新容器，并测试该容器是否有ping和ifconfig命令。

docker run -it ubuntu:test
ping
ifconfig

        可以看到，命令出现了。

        顺带一提，如果想进入已经关闭的容器，那么输入的命令格式为：

docker start -i [CONTAINER ID]

        举个例子，现在我们想进入刚才没有ping和ifconfig命令的容器‘22c6844faf94’，那么输入的命令为：

docker start -i 22c6844faf94

        顺利进入容器~

6.安装Anaconda2和Anaconda3，并‘花式’配置环境变量。

拷贝安装文件

首先我们使用‘docker cp’命令对宿主机和docker容器进行文件交互，该命令格式如下:

# 宿主机的文件/文件夹 拷贝到docker容器的指定目录中
docker cp [src_path] [target_container]:[container_path]

# 容器1的文件/文件夹 拷贝到容器2的指定目录中
docker cp [src_container]:[container_path] [target_container]:[container_path]

# 容器的文件/文件夹 拷贝到宿主机的指定目录中
docker cp [src_container]:[container_path] [target_path]

如上，我们将anaconda2和anaconda3的安装文件拷贝到容器中的home路径中

注意，不要再通过镜像生成容器了，直接用'docker start'命令进入容器。

可以看到，我们的文件复制成功，下面我们分别安装anaconda2和anaconda3

安装Anaconda

./Anaconda2-2019.03-Linux-x86_64.sh

./Anaconda3-2019.03-Linux-x86_64.sh

执行到一半发现错误

./Anaconda2-2019.03-Linux-x86_64.sh: 353: ./Anaconda2-2019.03-Linux-x86_64.sh: bunzip2: not found
tar: This does not look like a tar archive
tar: Exiting with failure status due to previous errors

原来是没有安装bunzip2，使用如下命令进行安装

apt-get install bzip2

之后安装就可以进行了。之间需要输入两次yes，第一次是问你是否同意一些条款，第二次是问你是否要配置环境变量。

安装好后输入‘source  ~/.bashrc’更新下环境变量，再输入'python'

可以看到，我们进入了anaconda3的python环境。这是因为我们是先装的anaconda2，再装的anacodna3，所以anconda3的环境变量把2覆盖掉了。

配置环境变量

那么如何让anaconda2和3的环境同时存在呢？

一般来说常用的方法是修改环境变量，但是笔者认为这种方式比较复杂，下面我们通过创建软连接(快捷方式)的办法，实现anaconda2和3的环境同时存在。

我们先来查看系统现在的环境变量

(base) root@60a197e8a57f:/home# echo $PATH
/root/anaconda3/bin:/root/anaconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

可以看到，环境变量指向了，下面这几个文件夹。

/root/anaconda3/bin:
/root/anaconda3/condabin:
/usr/local/sbin:/usr/local/bin:
/usr/sbin:/usr/bin:
/sbin:
/bin

笔者认为，当我们在终端中输入命令时，系统会在上面这些路径中寻找，那么我们在其中一个文件夹中分别创建anaconda2和3的软连接(快捷方式)的话，就可以同时调用anaconda2和3了。

下面开始创建软连接：

ln -s /root/anaconda2/bin/python /bin/anaconda2
ln -s /root/anaconda3/bin/python /bin/anaconda3

创建好后，我们进入/bin文件夹查看我们刚刚生成的软连接

(base) root@60a197e8a57f:/# cd bin/
(base) root@60a197e8a57f:/bin# ll | grep anaconda
lrwxrwxrwx 1 root root      26 Jul 17 01:36 anaconda2 -> /root/anaconda2/bin/python*
lrwxrwxrwx 1 root root      26 Jul 17 01:36 anaconda3 -> /root/anaconda3/bin/python*

上面表示软连接创建成功，现在就可以通过输入anaconda2和anaconda3来使用python环境了。

(base) root@60a197e8a57f:/# anaconda2
Python 2.7.16 |Anaconda, Inc.| (default, Mar 14 2019, 21:00:58)
[GCC 7.3.0] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>>
(base) root@60a197e8a57f:/# anaconda3
Python 3.7.3 (default, Mar 27 2019, 22:11:17)
[GCC 7.3.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
>>>

可以看出，环境使用正常。

别忘了删除安装文件，减少docker容器的体积。

(base) root@60a197e8a57f:/# rm -rf /home/Anaconda2-2019.03-Linux-x86_64.sh
(base) root@60a197e8a57f:/# rm -rf /home/Anaconda3-2019.03-Linux-x86_64.sh

pip与conda等命令的调用

但是现在有个问题，现在使用pip命令或者conda命令的话，由于环境变量的设置，默认使用的还是anaconda3的pip和conda，虽然这些命令也可以通过建立软连接的方式来解决，但是我们还可以使用'anaconda2 -m'命令来完成这些工作，我们看看实际的效果。

# 调用python2的pip
(base) root@60a197e8a57f:/# anaconda2 -m pip -V
pip 19.0.3 from /root/anaconda2/lib/python2.7/site-packages/pip (python 2.7)

# 调用python3的pip
(base) root@60a197e8a57f:/# anaconda3 -m pip -V
pip 19.0.3 from /root/anaconda3/lib/python3.7/site-packages/pip (python 3.7)

现在，python环境就已经配置完全。

7.分享你配置好的docker镜像。

将镜像/容器打包

现在，python环境已经配置好，如果想线下分享你刚刚配置好的环境，需要先将docker容器固化为镜像，然后再将镜像导出

首先查看现在全部的docker容器

C:\Users\ChenJH>docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS                      PORTS               NAMES
60a197e8a57f        ubuntu:test         "/bin/bash"         15 hours ago        Exited (0) 22 seconds ago                       stoic_sanderson
22c6844faf94        ubuntu:16.04        "/bin/bash"         15 hours ago        Exited (127) 15 hours ago                       gifted_thompson
2e01fd26138f        ubuntu:16.04        "/bin/bash"         16 hours ago        Exited (130) 15 hours ago                       hopeful_blackburn
5fd6f176d67c        hello-world         "/hello"            16 hours ago        Exited (0) 16 hours ago                         musing_panini

将容器提交(固化)为镜像

C:\Users\ChenJH>docker commit 60a197e8a57f ubuntu:python2_and_3
sha256:0b24dd655a01edc948b9b39a7fa4fe403c78959cb28341b94cf8e20bf75986ed

再查看现在所有的镜像


C:\Users\ChenJH>docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
ubuntu              python2_and_3       0b24dd655a01        51 seconds ago      6.85GB
ubuntu              test                aa0f52bb27be        15 hours ago        149MB
ubuntu              16.04               13c9f1285025        4 weeks ago         119MB
hello-world         latest              fce289e99eb9        6 months ago        1.84kB

之后使用save命令将生成的镜像导出为可以分享的文件(save命令不仅可以对镜像打包，也可以对容器打包，不过我比较习惯先将容器转为镜像，之后再打包)


C:\Users\ChenJH>docker save -o C:\Users\ChenJH\Desktop\my_docker.tar ubuntu:python2_and_3

从压缩包中读取镜像

如果想读取该文件，重新生成镜像，需要使用load命令来读取压缩包中的镜像。

C:\Users\ChenJH>docker load -i C:\Users\ChenJH\Desktop\my_docker.tar
# -i代表从tar文件中读取
ambm29
关注
『docker笔记』通过docker搭建深度学习环境
AI新视界
11-04 3875
通过docker搭建深度学习环境！ 文章目录一. docker简介二. centos安装docker第一步2.1. 安装前提条件2.2. 安装docker依赖环境2.3. 添加阿里云的软件源2.4. 更新yum缓存(为了保证能更新和下载需要的服务：如docker)三. centos安装docker第二步3.1. 安装并启动docker3.2. 启动Docker服务3.3. 设置开机自启四. docker高效搭建开发环境五. 关于宿主机卸载docker服务参考文章 一. docker简介 docker 是
基于PyCharm+Docker构建深度学习开发环境操作指南1
08-08
基于Docker镜像部署SSH服务 基于基础镜像，启动容器（注意映射本地的XXX端口：容器的22端口），并在容器中部署open-ssh服务（注意配置文件的修改）
利用docker部署深度学习模型的一个最佳实践
python学习者的博客
09-03 8207
前言 最近团队的模型部署上线终于全面开始用上docker了，这感觉，真香！ 讲道理，docker是天然的微服务，确实是能敏捷高效的解决深度学习这一块的几个痛点。 部分神经网络框架比如caffe依赖过重，安装困难。 各种网络模型未做工程化优化，部署困难。 tensorflow等框架对GPU等硬件的占用难以灵活控制。 对于做应用来说，这些问题诸如对GPU的硬件的管理，对复杂依赖的部署，而...
2023保姆级：深度学习环境在Docker上搭建（基于Linux和WSL）
qq_37191476的博客
07-27 6101
在深度学习领域，配置环境的常见做法是使用conda来实现环境隔离。conda是一个广泛使用的工具，用于创建和管理特定的环境，通过在不同的环境中设置特定的Python环境变量路径，实现了环境的特异化。为了实现这一目的，需要将终端置于conda的管理之下。如果你已经安装了conda，你可能已经注意到在bash中需要执行（在Windows上则是）来初始化conda的bash或powershell配置。Docker作为一种虚拟化技术，利用镜像作为基础配置，可以轻松地创建和管理容器。
docker镜像与容器基本的基本操作
m0_51160032的博客
01-12 2914
文章目录一、docker基本命令（运维版）1、查看镜像——docker images2、查看所有状态容器——docker ps -a3、docker —— run 指令工作流程4、查看docker版本命令——docker -v5、 查看docker信息——docker info6、docker帮助命令文档——docker --help二、docker 镜像操作1、搜索镜像（公共仓库）——docker search2、下载镜像——docker pull3、查看镜像列表——docker images4、获取镜像
如何用 docker 搭建虚拟环境
ceshiren456的博客
05-24 1494
简述 Docker 是一个开源的应用容器引擎，基于Go语言开发。 它的容器是进程级别完全使用沙箱机制，相互之间无任何调用,更为重要的是容器性能开销极低,不同容器之间又可以共享同一个cpu、内存等硬件资源。 本文分享如何使用docker搭建linux虚拟机,包含下载镜像、启动容器及后台运行、将宿主机端口和目录映射到虚拟机、基于容器生成本地镜像、将本地镜像实现导入新宿主机以达到软件运行环境完整迁移目的。 以centsos7为例 下载镜像 https://hub.docker.com/_/cento
Docker最新超详细教程——基本操作
金鳞踏雨
07-23 6737
Docker最新超详细教程——基本操作，Docker镜像、容器、数据卷。还有一个超好用的小工具finalshell
linux下无root权限安装bzip2，bunzip2
burning_head的博客
08-23 1280
我们的服务器下，每个人有自己的目录空间，但是没有root权限，无法sudo安装。在网上检索的时候，给出了一些解决方案，但会报另一个错误。并且安装失败，无法继续安装anconda3。
Docker基本操作
qq_58860773的博客
06-08 688
Docker的基本操作包括对镜像、容器和数据卷的相关操作
详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境
01-10
使用 ssh 命令连接远程服务器。 ssh root@[Your IP Address] 更新软件列表 apt-get update 更新完成。 安装 Docker sudo apt-get install docker.io 当遇到输入是否继续时，输入「Y／y」继续。 安装完成 ...
使用dockercompose搭建springboot-mysql-nginx应用
09-09
主要介绍了使用dockercompose搭建springboot-mysql-nginx应用，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Docker搭建MySQLl基于ShardingSphere-Proxy读写分离(docker-compose)
12-22
docker_compose搭建shardingSphereProxyMysql主从读写分离
docker-compose-linux-aarch64
12-14
用户在解压后，通常需要将`docker-compose`放到系统的PATH环境变量指定的目录下，以便于命令行中直接使用。 总结来说，"docker-compose-linux-aarch64"提供了在Linux AArch64系统上运行Docker Compose的途径，解决...
虚拟机docker环境搭建
weixin_42730552的博客
10-28 1262
docker开发环境搭建
Docker超详细教程——入门篇+实战
热门推荐
Alex_yuan666的博客
07-12 3万+
docker入门详细教程，包含常用环境实战，每一步都是我安装验证过的
Docker的基本操作
jc15274630894的博客
04-17 935
docker的基本命令
01. Docker基础环境构建
有一只柴犬的专栏
07-16 2944
在这里我们将学习关于Docker的一些技能知识，那么首先我们应该对Docker有一个基础的认识，以及动手搭建一个基础的环境。
Docker 系列完结
最新发布
PeterJXL的博客
09-18 1375
技术学习，永无止境。下一步，我们可以开始学习 K8s 了。
docker 搭建深度学习环境
04-18
在搭建深度学习环境时，Docker 可以作为一种很方便的选择。它可以让你在本地开发环境中运行和测试深度学习应用，而无需担心环境配置问题。 首先，你需要安装 Docker。你可以在 Docker 网站上下载并安装最新版本的 Docker。 然后，你可以选择使用 Docker 镜像来搭建你的深度学习环境。Docker 镜像是用于创建 Docker 容器的模板，可以包含所有需要的软件和依赖。你可以在 Docker Hub 找到许多用于深度学习的镜像，例如 TensorFlow、PyTorch 和 MXNet。 你可以使用 Docker 命令行工具来下载和运行这些镜像。例如，你可以使用以下命令来下载并运行 TensorFlow 镜像： ``` docker pull tensorflow/tensorflow docker run -it tensorflow/tensorflow ``` 在运行 Docker 容器时，你可以使用 `-v` 选项将本地目录挂载到容器中，从而在本地和容器之间共享文件。例如，你可以使用以下命令将本地目录 `/path/to/local/dir` 挂载到容器中的 `/app` 目录： ``` docker run -it -v /path/to/local/dir:/app tensorflow/tensorflow ``` 在运行容器后，你就可以在容器中运行深度学习代码了。你也可
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值