Ubuntu18.04系统中使用Docker配置Ubuntu18.04深度学习开发镜像并上传至DockerHub

已于 2023-08-16 13:15:10 修改
阅读量4.2k 收藏 26
点赞数 2
分类专栏： Linux Docker 文章标签： docker ubuntu 容器
于 2022-10-27 10:53:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39213284/article/details/127547585
版权

目录

一. Ubuntu系统中安装Docker

官网安装Docker

适用于

  • Ubuntu Jammy 22.04 (LTS)
  • Ubuntu Impish 21.10
  • Ubuntu Focal 20.04 (LTS)
  • Ubuntu Bionic 18.04 (LTS)

二. Docker中配置Ubuntu18.04镜像

安装版本查看

docker --version

显示 docker 安装版本为20.10.18

Step 1: 登录Docker

sudo docker login

在这里插入图片描述

Step 2: 拉取Ubuntu18.04镜像

sudo docker pull ubuntu:18.04

在这里插入图片描述

Step 3: 查看已有镜像

sudo docker images

在这里插入图片描述
发现ubuntu镜像已经出现在目录中
注：如果安装错误版本可以使用下面指令强制删除镜像

sudo docker rmi -f image-id

image-id表示镜像的ID（上一条指令中第三个属性显示IMAGE ID）
在这里插入图片描述

Step 4: 在容器中运行带有GPU组件的Ubuntu18.04镜像并设置容器名称(名称以transformers为例)

sudo docker run -it -e NVIDIA_DRIVER_CAPABILITIES=compute,utility --gpus all --name transformers ubuntu:18.04

2023.8.15更新日志：
由于docker容器下调用nvidia-smi显示CUDA Version：N/A，因此在定义容器时加入下面属性：
-e NVIDIA_DRIVER_CAPABILITIES=compute,utility在这里插入图片描述

-t表示为容器重新分配一个伪输入终端，通常与 -i 同时使用
-i表示以交互模式运行容器
更多run指令介绍

Step 5: 配置容器

此处以在容器中ubuntu18.04系统配置深度学习开发环境为例给出配置方法

5.1 安装Python3.8.12
apt update
apt install sudo
apt install vim
apt install module-init-tools kmod  # NVIDIA驱动依赖包
apt install wget
wget https://www.python.org/ftp/python/3.8.12/Python-3.8.12.tgz  # 安装指定版本
tar -zxvf Python-3.8.12.tgz -C ~
cd ~/Python-3.8.12
apt install zlib1g-dev libbz2-dev libssl-dev libpcre3-dev libncurses5-dev  libsqlite3-dev libreadline-dev tk-dev libgdbm-dev libdb-dev libpcap-dev xz-utils libexpat1-dev   liblzma-dev libffi-dev  libc6-dev    # Python依赖包
6  # 选择地区亚洲
19 # 选择城市重庆
./configure --prefix=/usr/
make          # 3 min
make test     # 2 min 30 sec
make install  # 10 sec
ln -s /usr/bin/python3 /usr/bin/python
ln -s /usr/bin/pip3 /usr/bin/pip
mkdir /home/Documents	# 新建Documents文件夹用于后面存一些交互文件
mkdir /home/Downloads   # 新建Downloads文件夹用于存取下载文件
5.2 导出原环境python库

在原环境下激活conda环境后导出包, pip导出命令如下

pip list --format=freeze > requirements.txt

会导出当前环境conda中安装的包以及包的版本，并在当前目录生成requirements.txt文件

5.3 将requirements.txt文件移入transformers容器中
sudo docker  cp  /home/lab501/文档/requirements.txt  transformers:/home/Documents/requirements.txt

注：从transformers容器将文件移入主机的命令将上述路径调换即可，例如：

sudo docker  cp   transformers:/home/Documents/requirements.txt   /home/lab501/文档/requirements.txt
5.4 在transformers容器中使用pip指令安装依赖包
pip install -r /home/Documents/requirements.txt

注：

  • 用conda指令导出包，使用pip安装会报错，原因在于conda和pip导出的txt文件中包的表述形式不同
conda list -e > requirements.txt

例如conda导出包的表述形式为

scipy=1.4.1=pypi_0

pip导出包的表述形式为

scipy==1.4.1
  • pip导出包使用pip安装时也会出错，原因在于这些发生安装错误的包在原环境中都是从外链下载的，requirements.txt文件中没有指出这些链接因此找不到对应版本。解决办法为先在requirements.txt中删除这些发生错误的包，如果不需要安装这些包就不用重新安装，需要安装的话再单独安装这些包，或者将版本改为pip源中存在的版本（前提是版本之间互相兼容）。
    在这里插入图片描述在这里插入图片描述

至此，使用cp指令传入模型代码和数据到transformers容器中即可正常运行和测试

5.5 上传容器至Docker Hub
5.5.1 为了不变动原容器，使用export指令导出原容器
sudo docker export transformers > transformers.tar
5.5.2 将导出的容器快照导入作为新镜像
sudo cat transformers.tar | sudo docker import - deeplearning

在这里插入图片描述
注：导入命令中import和deeplearning之间有一个-，deeplearning为新镜像的名字（可自定义但是不能含有大写字母）

5.5.3 镜像规范化命名（用户名/镜像名）
sudo docker tag deeplearning:latest boxuguan/deeplearning
5.5.4 上传至Docker Hub
sudo docker push boxuguan/deeplearning:latest

在这里插入图片描述

5.5.5 登录 Docker Hub 官网验证上传成功

在这里插入图片描述
完结撒花，做一下镜像介绍，有需要的可以直接使用
V1.0 版本 （已删除）

系统: Ubuntu 18.04 (GPU版)
Python版本: Python3.8.12
配置: Pytorch 1.10.0, transformers4.10.0, NLTK3.7, tensorflow-cpu2.3.0, scipy1.4.1, scikit-learn0.24.1, pandas1.4.0, numpy1.18.5, codalab1.5.10

V2.0版本（最新NLP开发镜像）
在这里插入图片描述

5.6 镜像介绍
  • System：Ubuntu18.04
  • Python：
    • 原始环境3.10.12
    • conda-base环境 3.11.4
    • conda-guanbx环境 3.10.12
  • Anaconda：Anaconda3-2023.07-2-Linux-x86_64 （conda：23.7.2）
  • cuda：release 11.3, V11.3.109
  • cudnn：8.9.4
  • python库（conda-guanbx环境下）：
    • accelerate 0.21.0
    • beautifulsoup4 4.12.2
    • cmake 3.27.0
    • conda-pack 0.6.0
    • deepspeed 0.10.0
    • jieba 0.42.1
    • matplotlib 3.7.2
    • nltk 3.8.1
    • numpy 1.25.0
    • pandas 2.0.3
    • pip 23.2.1
    • torch 2.0.0+cu117
    • torchkeras 3.9.2
    • transformers 4.30.2
    • triton 2.0.0

补充：容器常用指令

  • Docker镜像索引方式
    ①IMAGE_REPOSITORY:TAG (例如ubuntu:18.04)
    ②IMAGE_ID
  • Docker容器索引方式
    ①CONTAINER_NAMES (例如transformers)
    ②CONTAINER_ID
  • 强制删除容器CONTAINER_NAMES
sudo docker rm -f CONTAINER_NAMES

在这里插入图片描述

  • 终端键入exit或者使用Ctrl+D退出并关闭容器
  • 使用Ctrl+Q+P退出容器，但不关闭容器
  • 使用如下指令查看正在运行的容器
sudo docker ps
sudo docker ps -a # 查看所有容器包括停止运行的容器

在这里插入图片描述

  • 运行容器但不进入该容器
sudo docker start CONTAINER_NAMES

在这里插入图片描述

  • 进入容器（前提是该容器已经在后台运行）
sudo docker attach CONTAINER_NAMES

在这里插入图片描述

  • 重启容器
sudo docker restart CONTAINER_NAMES
  • 停止运行容器
sudo docker kill CONTAINER_NAMES
sudo docker stop CONTAINER_NAMES
Coder_Guan
关注
  • 2
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ubuntu 18.04 的docker基础镜像
11-06
镜像大小仅26M，包含完整的ubuntu18.04.1基础系统，可以通过apt-get命令更新和安装其他软件包，使用docker load -i ubuntu_18.04-image.tar.gz 来加载镜像
Ubuntu18.04安装Docker
01-07
１．sudo apt-get remove docker docker-engine docker.io containerd runc 首先移除已经装好的Docker ２．sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common...
Linux for Ubuntu 18.04 安装Docker
ControlLearner的博客
07-28 365
Linux for Ubuntu 18.04 安装DockerDocker简介Docker的应用场景Docker 的优点Linux for Ubuntu 18.04 安装DockerFAQ保存原有容器环境docker中文社区抓取TensorFlow imagesdocker安装TensorFlow2.0 + jupyter lab更改镜像仓库容器的相关操作容器的创建、查看、删除容器的启动、进入、退出Docker jupyter lab 服务创建配置文件挂载安装jupyter labwork文件开启jupyt
Ubuntu 18.04 镜像下载
热门推荐
qq_48795733的博客
03-09 2万+
纯干货，无废话，爽就完了
Ubuntu 18.04.4 导入docker镜像，启动镜像，保存容器为镜像，导出镜像
最新发布
zzsssky的博客
05-31 470
改名后，相同 ID 的镜像会有两个， 这时不能 用镜像ID 来删除镜像，因为这时该镜像有两个引用（有了两个名）。因此，我们需要先删除使用该镜像的已退出的容器， 而对于正在运行的容器我们需要先停掉该容器，再删除容器。当没有使用该镜像的容器存在的情况下，我们才能删除该镜像。启动某个容器 ( restart 命令可以重启正在运行的容器，也可以启动已经停掉的容器 )8. 在运行的容器中安装软件后， 将该容器保存为新的镜像。查看所有容器：（包括 正在运行的， 也包括退出的容器）
ubuntu 18.04系统的镜像源
记录工作的点滴收获
04-24 416
1 国内可用的镜像源 Ubuntu官方下载地址 阿里云开源镜像站 清华大学开源镜像站 中国科技大学开源镜像站 华为云开源镜像站 2 ubuntu 18.04 镜像说明 Ubuntu 18.04 是一个广泛使用的Linux发行版，它有多个版本的镜像可供下载。 在物理机上安装的镜像 如带desktop字样的镜像，含桌面环境，适合办公 如带server字样的镜像，无桌面环境，适合部署服务器 在虚拟机中安装的镜像 仅用于制作启动介质的镜像 在选择下载时，请根据你的需求选择合适的版本镜像
Docker之查看并获取最新Ubuntu镜像(十)
Android系统攻城狮
02-21 1334
本篇目的：Docker之查看最新Ubuntu镜像Docker 是一个开源的应用容器引擎，它允许开发者打包他们的应用以及应用的依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）而且更轻量级。Docker 主要有以下几个特点：容器化：Docker 允许用户将应用和其依赖打包成一个独立的容器，这个容器可以在任何支持 Docker 的平台上运行，从而实现应用的跨平台部署。
Ubuntu 18.04上docker和nvidia-docker指南
步子大了吧
05-13 928
1、安装最新版docker 使用docker的好处是不用再自己处理各种依赖库和CUDA版本不兼容的问题（下带CUDA的镜像就好了）。 根据docker官网 的教程进行docker的安装： #### 如果装有旧版, 先卸载 sudo apt-get remove docker docker-engine docker.io containerd runc #### 设置源 sudo apt-get update sudo apt-get install \ apt-transport-https
Ubuntu之Docker：Docker Hub的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-18 979
​ Ubuntu之Docker：Docker Hub的简介、安装、使用方法之详细攻略 目录 Docker Hub的简介 Docker Hub的安装 Docker Hub的使用方法 Docker Hub的简介 Docker Hub是一个公共的、云端的 Docker 镜像仓库和协作平台。Docker Hub是一个重要的工具，为Docker生态系统的用户提供了一个中心化的平台，用于存储、共享、管理和分发Docker镜像。这对于容器化应用程序的开发、部署和
ubuntu 18.04可用的docker ce
06-20
ubuntu 18.04可用的docker ce, 官方的镜像, 源里面安装不了, 或者官方源安装不了的可以试试, 我的机器上是一次过.
ubuntu 18.04 docker镜像
02-22
ubuntu 18.04 docker镜像
docker基础镜像ubuntu18.04
10-25
也可以直接从docker仓库中下载，此资源为了方便下载
Ubuntu18.04 利用Systemback制作ISO系统镜像和还原
guoqingru0311的博客
01-13 3376
Ubuntu18.04 利用Systemback制作ISO系统镜像和还原
在docker 中安装ubuntu镜像
太阳上的雨天
05-13 1万+
1.下载Linux 镜像，执行 命令 ：docker pull ubuntu 2.完成后 执行 docker images 查看镜像的信息 3.安装镜像 docker run -d -i -t imageID /bin/bash imageID 就是上面镜像信息里的 IMAGE ID 4.执行 docker ps 查看 安装的镜像，如有 镜像的信息 即代表 安装成功 5.进入 Linux 执行 - docker attach CONTAINER ID 即可 感谢大佬分享：https://
【云原生-Docker】Ubuntu镜像设置及docker安装
起而行动，方能平定心中的惶恐
10-31 8563
Ubuntu，是一款基于Debian Linux的以桌面应用为主的操作系统，内容涵盖文字处理、电子邮件、软件开发工具和Web服务等，可供用户免费下载、使用和分享。
docker入门（十三）：Docker构建自己的ubuntu镜像
Liu Feng's Blog
08-21 3983
构建我的ubuntu Docker hub 中 99%的镜像都是由下面这一层开始的 FROM scratch 然后构建我们自己的层。 （1）编写配置文件dockerfile # 新建dockerfile test@P340:/$ touch dockerfile dockerfile # 编写dockerfile test@P340:/$ vim dockerfile dockerfile # 查看dockerfile内容,注意在dockerfile中注释需要单独一行，以#开头 test@P340:/
Ubuntu配置hadoop（基于Docker）
我的小家
09-08 587
需要搭建Docker虚拟机上的hadoop集群踩过的坑都在这里了基本上参照这篇博客自己搭建的时候遇到很多问题，踩过的坑都在这里了。
docker 运行ARM架构64位ubuntu18.04
u012360727的博客
06-26 1618
docker ubuntu arm
ubuntu18.04双系统安装(2023最新最详细)以及解决重启后发现进不了Ubuntu问题
weixin_45303602的博客
10-25 4054
Linux是一种自由和开放源代码的操作系统内核，被广泛应用于各种计算机系统中。它以稳定性、安全性和灵活性而闻名，并成为服务器、嵌入式设备和个人计算机等领域的首选操作系统。Linux的主要特点和功能包括：开放源代码：Linux采用开放源代码模式，意味着用户可以自由地查看、修改和分发源代码，这使得Linux具有高度的可定制性和灵活性。同时，开放源代码也促进了广大开发者的参与，推动了Linux社区的发展和创新。多用户、多任务支持：Linux支持多用户同时登录，并且可以同时运行多个任务。
ubuntu18.04lts docker镜像
05-28
Ubuntu 18.04 LTS 是一款常见的 Linux 操作系统，Docker 镜像是 Ubuntu 18.04 LTS 的一个容器镜像，它包含了 Ubuntu 18.04 LTS 的基本环境和软件。你可以使用 Docker 命令来启动 Ubuntu 18.04 LTS 的容器镜像，然后在容器内运行各种应用程序。 Ubuntu 18.04 LTS Docker 镜像可以通过 Docker Hub 获取，你可以通过以下命令获取并运行该镜像： ``` docker pull ubuntu:18.04 docker run -it ubuntu:18.04 /bin/bash ``` 上述命令将会从 Docker Hub 获取 Ubuntu 18.04 LTS 镜像，并在容器内启动一个交互式 shell。你可以在容器内进行各种操作，比如安装软件、运行脚本等等。 如果你想使用 Ubuntu 18.04 LTS Docker 镜像来构建自己的镜像，可以在 Dockerfile 中使用 FROM 命令来指定基础镜像，例如： ``` FROM ubuntu:18.04 # 在这里添加你的构建步骤 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值