【Tensorflow2.0】基于Docker的Tensorflow2.x安装教程

最新推荐文章于 2024-05-26 17:25:04 发布

牛andmore牛

最新推荐文章于 2024-05-26 17:25:04 发布

阅读量1.6k

点赞数

分类专栏： Tensorflow # docker 文章标签： nvidia docker安装 tensorflow安装 docker TF2.x tensorflow容器安装容器tensorflow2

本文链接：https://blog.csdn.net/u011119817/article/details/107609164

版权

Tensorflow 同时被 2 个专栏收录

19 篇文章 13 订阅

订阅专栏

docker

4 篇文章 2 订阅

订阅专栏

本文将讲一下如何基于docker来安装Tensorflow2.x，包括CPU版和GPU版,以Ubuntu系统为例。docker容器技术越来越普及，也成为算法部署的一种主流，可以实现一次构建多次部署。

1、Docker Engine安装

打开docker官网https://docs.docker.com/engine/install/ubuntu/#install-using-the-repository，选择合适的平台，我们是ubuntu。按照官方指导进行安装

1.1 填加docker ce安装源到系统


sudo apt-get update
#安装依赖
sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
#填加官方gpg,执行完会输出OK
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
#填加仓库
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

1.2 docker ce 安装

sudo apt-get update
#后两个不写也可以会自动安装
sudo apt-get install docker-ce docker-ce-cli containerd.io

如果要验证安装：

sudo docker run hello-world
#或者
sudo docker version

hello-world会看到：
在这里插入图片描述

到此，docker安装成功。docker 的升级，版本选择，删除等查看本文提供的链接。
安装完成后，进行如下配置，避免每次都输入sudo。本文此后内容要依本操作是否执行来自行选择是否要加sudo。

sudo groupadd docker
sudo usermod -aG docker $USER #最后是获取用户名
#重启docker服务
sudo service docker restart
newgrp - docker

1.3 国内安装环境设置

1.3.1 docker 国内源设置

因为网络原因，步骤1.1和1.2有时并不能成功执行，这时，需要使用国内镜像来安装，如中科大、清华、阿里云的源。
安装 Docker CE，请按照官方安装文档，选择你对应的系统，按命令进行执行，步骤1.1和1.2是以 Ubuntu 为例，参考官方 Ubuntu 安装 Docker CE 手册进行安装的，如果使用国内源如清华的要参考https://mirror.tuna.tsinghua.edu.cn/help/docker-ce/，使用中科大的源参考http://mirrors.ustc.edu.cn/help/docker-ce.html，国内源只是把 download.docker.com地址换成 mirrors.ustc.edu.cn/docker-ce或mirrors.tuna.tsinghua.edu.cn/docker-ce 即可。如下为改后内容：

sudo apt-get update
#安装依赖
sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
#填加官方gpg,执行完会输出OK
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
#填加仓库
sudo add-apt-repository "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
sudo apt-get update
#后两个不写也可以会自动安装
sudo apt-get install docker-ce docker-ce-cli containerd.io

1.3.2 docker hub国内源设置

同样使用docker hub要用国内源才可以使用，对于使用 systemd 的系统（Ubuntu 16.04+、Debian 8+、CentOS 7），在配置文件 /etc/docker/daemon.json 中加入：

{
  "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn/"]
}

接着重启docker:

sudo systemctl daemon-reload
sudo systemctl restart docker

验证docker hub 是否生效：

sudo docker info
#在结果中查看是否有如下结果：
Registry Mirrors:
    https://docker.mirrors.ustc.edu.cn/

在这里插入图片描述
也可以在阿里云申请自己的加速镜像，打开阿里云首页,点击弹性计算,再点击容器镜像服务,可能随着网页的改变，位置会发生改变，请自行查找。

在新打开的页面点击管理控制台:

接着进行登陆，如没有帐号，先注册再登陆：

选择如图中选项，获得个人的阿里云加速镜像。接着可以完成其它配置

1.3.3 Apt-get国内源设置

另外，进入docker 容器中，因为要使用apt-get update,所以同样要更新apt的国内源，两种方法图形界面依次打开：系统设置，软件和更新。在 下载自 中选择 其他站点 ，然后在中国的条目下选择 mirrors.ustc.edu.cn 。

另一种是，直接手动更改配置文件：

#选备份
sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
#将 /etc/apt/sources.list 文件中 Ubuntu 默认的源地址 http://archive.ubuntu.com/ 替换为 http://mirrors.ustc.edu.cn 即可,命令是：
sudo sed -i 's/archive.ubuntu.com/mirrors.ustc.edu.cn/g' /etc/apt/sources.list

也可以直接改/etc/apt/sources.list

sudo vim /etc/apt/sources.list
#以ubuntu16.04为例，内容换为
deb https://mirrors.ustc.edu.cn/ubuntu/ xenial main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ xenial-security main restricted universe multiverse
#源码仓库
deb-src https://mirrors.ustc.edu.cn/ubuntu/ xenial main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ xenial-security main restricted universe multiverse

更改完 sources.list文件后请运行 sudo apt-get update 更新索引以生效。
如要用于其他版本，把 xenial换成其他版本代号即可:20.04:focal;18.04：bionic；17.10：artful；16.04：xenial；14.04：trusty,也可以到https://mirrors.ustc.edu.cn/repogen/下载对应系统的sources.list。

2 、Nvidia Container Toolkit安装

首先，要保证Nvidia 显卡的驱动已经安装，请参见我的博客,里边有两种方法，推荐用第一种方法，当然，也可以用第二种，从第二种也可以进入到nvidia官网，按照官网说明来安装（官网的不一定会安装成功，可能不适配系统）。
安装成功后，接着安装Nvidia Container Toolkit,该工具使Docker 的容器能与主机的Nvidia显卡进行interact.更多信息可以访问Nvidia Container Toolkit的官方网站,目前（2020年8月1日），安装前要求nvidia的驱动已安装，但不要求安装CUDA,同时，docker 版本是19.03(以后这个肯定要更新）

nvidia-smi #确认显卡驱动
docker -v #确认版本

在这里插入图片描述
接着开始安装：

# Add the package repositories
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -

上条命令如果输出：gpg: no valid OpenPGP data found.，可以多试几次，或者那么把命令分开执行：

curl -s -L -O https://nvidia.github.io/nvidia-docker/gpgkey #大写欧，会在本地保存一个gpgkey文件
sudo apt-key add gpgkey#会输出OK

curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

该命令成功后可以查看cat /etc/apt/sources.list.d/nvidia-docker.list，文个中会有如下内容：

deb https://nvidia.github.io/libnvidia-container/stable/ubuntu16.04/$(ARCH) /
#deb https://nvidia.github.io/libnvidia-container/experimental/ubuntu16.04/$(ARCH) /
deb https://nvidia.github.io/nvidia-container-runtime/stable/ubuntu16.04/$(ARCH) /
#deb https://nvidia.github.io/nvidia-container-runtime/experimental/ubuntu16.04/$(ARCH) /
deb https://nvidia.github.io/nvidia-docker/ubuntu16.04/$(ARCH) /


sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
#####################或者分开执行#########################
sudo apt-get update 
sudo apt-get install -y nvidia-container-toolkit
########################################################
sudo systemctl restart docker
sudo docker run --gpus all --rm nvidia/cuda:10.0-base nvidia-smi

如果有nvidia-smi信息输出成功，那么，表示安装成功。

3、Tensorflow安装

按照Tensorflow官方docker安装说明,在docker hub有多个不同版本的Tensorflow可供选择，具体可以查看docker hub.

3.1 版本选择

版本选择主要通过镜像标签来指定，可以选择Tensorflow的版本号以及GPU版或CPU版本。
标签有：

标记	说明
latest	tensorsorflow cpu二进制镜像最新版本
nightly	Tensorflow的每夜版本(不稳定)
version	指定Tensorflow二进制版本，如2.1.0
devel	TensorFlow master 开发环境的每夜版。包含 TensorFlow 源代码
custom-op	用于开发 TF 自定义操作的特殊实验性映像

以上标签中我们主要用到version来选择是用TF1.x还是TF2.x。
另外还有增加功能的标签：

标记变体	版本
tag-gpu	支持 GPU 的指定标记版本
tag-jupyter	针对 Jupyter 的指定标记版本（包含 TensorFlow 教程笔记本）

可以一次使用多个变体，示例如下：

docker pull tensorflow/tensorflow                     # latest stable release
docker pull tensorflow/tensorflow:devel-gpu           # nightly dev release w/ GPU support
docker pull tensorflow/tensorflow:latest-gpu-jupyter  # latest release w/ GPU support and Jupyter
docker pull tensorflow/tensorflow:2.4.0rc1-gpu-jupyter #Tensorflow2.4 GPU版本，支持jupyter
docker pull tensorflow/tensorflow:2.1.2-gpu #仅支持GPU

3.2 容器启动

与使用其它容器相同：

docker run [-it] [--rm] [-p hostPort:containerPort] tensorflow/tensorflow[:tag] [command]

启动交互方式：

docker run -it tensorflow/tensorflow /bin/bash

GPU的支持：

docker run --gpus all -it --rm tensorflow/tensorflow:2.1.2-gpu /bin/bash

对于GPU的指定，有以下两种方式:

--gpus all #全部GPU
--gpus 1,2 #指定的GPU
--gpus none #不用GPU,但驱动能力可获得
-e NVIDIA_VISIBLE_DEVICES=all #全部GPU
-e NVIDIA_VISIBLE_DEVICES=1,2 #指定GPU

更多nvidia docker使用说明参见使用文档.
如需在容器内运行在主机上开发的 TensorFlow 程序，请装载主机目录并更改容器的工作目录 (-v hostDir:containerDir -w workDir)
比如：

docker run -it --gpus all -v /home/username/myproject:/workspace -w /workspace tensorflow/tensorflow:2.1.2-gpu /bin/bash

-v可以将host目录与docker目录共享，-w指定workspace,进入docker后的默认路径就是由-w指定。
对于要使用jupyter的可以执行如下命令：

docker run -it -p 8887:8888 tensorflow/tensorflow:nightly-jupyter

然后在主机浏览器中输入http://127.0.0.1:8887/?token=… 即可使用。
以上所有内容亲测，所有参考文档已经在文档中包含。

牛andmore牛

关注

0
点赞
踩
12

收藏

觉得还不错? 一键收藏
1
评论
【Tensorflow2.0】基于Docker的Tensorflow2.x安装教程

文章目录1、Docker Engine安装1.2 docker ce 安装1.3 国内安装选择1.3.1 docker 国内源设置1.3.2 docker hub国内源设置1.3.3 Apt-get国内源设置本文将讲一下如何基于docker来安装Tensorflow2.x，包括CPU版和GPU版,以Ubuntu系统为例。docker容器技术越来越普及，也成为算法部署的一种主流，可以实现一次构建多次部署。1、Docker Engine安装打开docker官网https://docs.docker.com
复制链接

扫一扫