深度学习环境配置——1.4 深度学习镜像

已于 2024-11-14 21:08:05 修改
阅读量1.4k 收藏 29
点赞数 40
分类专栏： 数据闭环&深度学习---环境搭建 文章标签： docker 深度学习 人工智能 数据挖掘 服务器 智慧城市
于 2024-11-11 08:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59148663/article/details/143654051
版权

目录

        1.1 系统环境搭建

                 制作系统盘 & ubuntu20系统安装 &机械盘挂载 & 网络配置 &RAID简介

        1.2 ubuntu常见基础配置

              软件的配置& 基础软件安装 &搜狗输入法配置&远程SSH相关&系统默认内核&数据闭环设备

        1.3 docker基础配置

               docker安装&镜像拉取加速&去除sudo限制&修改镜像存储位置&docker compose&docker 命令汇总

        1.4 深度学习镜像

1. GPU驱动安装

2. nvidia docker

3.深度学习镜像查找拉取

4. 深度学习容器创建

5.   容器导出为镜像

1.5 环境搭建附录

       anconda安装&conda环境创建&pytorch-gpu安装&容器基础配置错误集&cuda安装&cudnn安装

1.6  数据闭环搭建&docker补充

    机械盘热插拔&NFS远程挂载&数据闭环系统&docker简介&docker基本概念&docker数据卷

1.7 linux基础&vscode

      linux常见基础命令&vscode编辑器搭建&vscode虚拟环境使用&vscode的debug功能&vscode远程链接服务器

1.4 深度学习镜像

  • 深度学习环境搭建步骤大致分为：安装GPU驱动 ---> 安装nvidia-docker --> 拉取带有dudnn/cuda的镜像 --> 创建容器 --> 安装conda【下节叙述】-->导出容器为镜像传递

1. GPU驱动安装

  • 前提：一定不能更新内核  

1. 在1.1 的第2节讲述过，关闭系统内核更新问题；

2. 如果内核发生更新，推荐新手直接重装系统，参考1.1的第2节；

3. 也可以尝试降低内核，设定服务器启动时自动启用内核，参考1.2的第5节

  • 更新软件包列表：sudo apt-get update
  • 查看推荐安装驱动：ubuntu-drivers devices
  • 安装相关驱动：sudo apt install ubuntu-drivers-common nvidia-driver-xxx

注释：xxx是系统推荐的驱动版本，如535

  • 重启系统：reboot
  • 进入Perform Mok Management界面：Enroll Mokè Continueè yesè Rebootè GPU正常工作
  • 查看驱动版本：nvidia-smi     显示的CUDA为最高版本的cuda

c30df522a4734d29a59c7a71a3ed1d38.png

上述展示指标，需要重点记忆，后续深度学习需要经常进行查看，也会重新叙述。

lightdm安装：sudo apt-get install lightdm  ---> 跳转界面选择lightdm --->  reboot

2. nvidia docker

  • 原因：nvidia-docker 解决了Docker 只能使用 CPU 的资源问题，可以使用GPU，其已经更新为NVIDIA Container Toolkit
  • 安装前提：安装NVIDIA驱动、docker
  • 安装步骤
    • 添加NVIDIA的GPG秘钥：curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
    • 获取操作系统发行信息：distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
    • 添加Nvidia的软件包存储库：curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
    • 更新源：sudo apt update
    • 安装软件包: sudo apt install -y nvidia-container-toolkit
    • 重启docker: sudo systemctl restart docker

3. 深度学习镜像查找拉取

  • 概述：拉取带有NVIDIA GPU的docker镜像，然后创建相关容器，可以证明nvidia docker（nvidia-container-toolkit）安装成功。

一般来说，基于nvidia/cuda创建后续深度学习的环境，且大部分深度学习基于的cuda版本为11.1,torch版本为1.9.0

  • 前提条件：  具有GPU驱动、NVIDIA-Docker（nvidia-container-toolkit）
  • 拉取镜像：登录docker hub --> 输入nvidia/cuda查找镜像--> 进入“Tags”查找指定版本镜像拉取命令 （如 docker pull nvidia/cuda:11.1.1-cudnn8-devel-ubuntu20.04）

拉取镜像的tag一般包含：系统版本（ubuntu20），cuda版本(11.1) , 带有cudnn 的devel版本

4556f7ea4d7a42e98dc4583e38f23dab.png

4. 深度学习容器创建

  • 创建命令：sudo docker run -it --name deeplean_env --shm-size=32G --privileged=true --gpus all  --net=host  -v /mnt/volume_1T/docker_relate/docker_env:/deep_lean_env  -v /etc/localtime:/etc/localtime:ro -v /tmp/.X11-unix:/tmp/.X11-unix -e DISPLAY=unix$DISPLAY -e GDK_SCALE -e NVIDIA_DRIVER_CAPABILITIES=compute,utility -e LANG=en_US.UTF-8
  • -e GDK_DPI_SCALE  nvidia/cuda:11.1.1-cudnn8-devel-ubuntu20.04 /bin/bash
  • 说明1： 常见docker命令见1.3 的第6节
  • 说明2： 创建成功验证
    • nvidia-smi查看驱动； nvcc –version 查看cuda版本
    • 一般来说，cuda版本可以低于 nvidia-smi查看的驱动版本
  • 说明3：容器中，类似于一个才装配的ubuntu系统环境，需要我们重新配置一些环境，常见的配置包含：
    • 镜像中已包含：cuda/cudnn环境  【如果没有安装，参考下节1.5】
    • 基础加速器：阿里云镜像加速、 配置ssh 【参考1.2】
    • 基础安装包：apt-get -y install  locales  wget git net-tools
    • anaconda：参考下节1.5。
  • 说:4：上述创建命令含义
    • sudo  docker run： 赋权创建docker容器，且可以使用显卡； （有时用nvidia-docker）
    • -it：-i表示保持容器一直运行；-t表示为容器重新分配一个伪终端；-d表示以守护（后台）模式运行容器；通常使用-it创建的容器称为交互式容器；而-id创建的容器称为守护式容器；
    • --name deeplean_env：表示创建的容器名称为deeplean_env；
    • --shm-size=32G ：容器中共享内存大小；
    • --privileged=true：容器中启动进程时不添加任何安全限制；
    • --gpus all ：可用服务器上所有的GPU资源 
    •  --net=host：主机本机运行，更好的访问网络
    • -v /mnt/volume_1T/docker_relate/docker_env:/deep_lean_env：表示本机路径（/mnt/volume_1T/docker_relate/docker_env）与容器路径（/deep_lean_env）之间挂载关系
    • -v /etc/localtime:/etc/localtime:ro：容器时间与本地时间一致
    • 图形可视化界面：-v /tmp/.X11-unix:/tmp/.X11-unix（共享本地unix端口）；-e DISPLAY=unix$DISPLAY（修改环境变量DISPLAY）；-e GDK_SCALE -e GDK_DPI_SCALE（显示效果相关环境变量）
    • -e NVIDIA_DRIVER_CAPABILITIES=compute,utility： 设置 NVIDIA 驱动的功能集，compute 功能集通常用于 GPU 加速的计算任务，utility 功能集则包括一些实用工具功能
    • -e LANG=en_US.UTF-8： 设置应用程序的语言和字符编码
    • nvidia/cuda:11.1.1-cudnn8-devel-ubuntu20.04：基于的镜像名称和标签
    • /bin/bash：进入容器的初始化指令

说明：如果容器中无法显示中文，可是使用sudo docker exec -it 容器名称 env LANG=C.UTF-8  /bin/bash  进入容器如

5.  容器导出为镜像

  • 背景：在日常工作中，跨设备进行深度学习环境复刻，往往是通过将容器打包成镜像传递方式进行；
  • 打包基本步骤：清除缓存 --->  打包镜像
apt clean && rm -rf /tmp/* /var/tmp/* /var/lib/apt/lists/* /var/cache/apt/*    # 系统缓存
pip cache purge       rm -rf $(pip cache dir)/*          # pip缓存    
conda clean –all     # conda缓存

本地容器打包成镜像：sudo docker commit 容器id 镜像名：版本号（tag）
镜像导出为压缩包：sudo docker save -o 路径/压缩文件名称 镜像名：版本号（tag）
加载本地镜像：sudo docker load –i 压缩镜像名（tar）
  • 注意事项：在我日常工作中，经常出现由容器打包成的镜像无法再其他设备导入，其解决办法一般是重新导出一份镜像即可。    【一般导出镜像可以先本地load测试】
  • 说明：在理论上来说，创建基础版本的深度学习镜像，需要基于dockerfile创建，优点是镜像的大小相对小很多，易于传递使用，但该部分相对来说知识量较多，目前我遇到的上述方式打包镜像对比原始镜像大了约7-8G，个人感觉这个大小对于服务器来说是微不足道的。

参考博文

深度学习环境配置：CUDA、cuDNN 和 PyTorch 版本的选择与搭配指南

从零到一保姆级深度学习Docker镜像配置教程

【AI】《动手学-深度学习-PyTorch版》笔记（一）：学习环境配置
郭老二
07-05 905
在Anaconda中搭建PyTorch学习环境
【02】深度学习——安装CUDA和Anaconda | coda常用命令 | Jupyter快速上手 | 安装Pytorch | Pytroch、CUDA、NVIDIA之间的关系
小浪宝宝的博客
01-30 2666
CUDA全称：Compute Unified Device Architecture。显卡支持：通常是英伟达的Geforce或Quadro系列显卡。注意：根据电脑显卡驱动的版本，安装对应支持的CUDA版本。一个用于科学计算、数据分析和机器学习的Python发行版。包含了常用的科学计算、数据分析和机器学习库。通过一个简单的包管理器（conda）安装和管理。
树莓派深度学习系统镜像，包含opencv、pytorch、tensorflow、pytorch_lightning、tflite
02-20
详情：https://blog.csdn.net/qq_17041537/article/details/123120057 纯净树莓派镜像，基于官方Raspberry Pi OS (64 bit)，适用Raspberry Pi 3及以上（Pi 3/3B/3B+、Pi 4/4B等）。 镜像包含opencv 4.5.1、pytorch 1.6.0、torchvision 0.7.0、pytorch_lightning 1.5.0、tensorflow 2.4.0、tflite 2.1.0等众多深度学习相关Python依赖，几乎涵盖了所有主流深度学习支持，全部安装在系统裸环境中，直接调用。 系统镜像支持自动扩展，第一次启动后会自动扩展磁盘，可谓开箱即用。已开启SSH及VNC。 文件内包含高速下载链接，直接网页下载，告别垃圾百度云。
conda查看及添加镜像源
热门推荐
weixin_41466947的博客
07-16 6万+
查看源 conda config --show-sources 添加仓库 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --set show_channel_urls yes ..
阿里云服务器搭建深度学习服务
最新发布
m0_73767377的博客
03-22 414
阿里云学生无门槛免费领一年2核4g服务器的方法
linux-Deepo开箱即用的深度学习Docker镜像集十余种深度学习框架于一身
08-13
Deepo：开箱即用的深度学习Docker镜像，集十余种深度学习框架于一身：theano, tensorflow, sonnet, pytorch, keras, lasagne, mxnet, cntk, chainer, caffe, torch。
Docker+深度学习镜像(预装anaconda+ssh+pytorch+时区设置)
qq_43288818的博客
08-12 883
介绍：开箱即用的深度学习的镜像，基于ubuntu20.04版本构建。设置好了一个py37的conda环境，该环境预装好了pytorch。● 时区设置为中国地区● 预装了ananconda3（路径：opt/anaconda3)● 预装了Pytorch(python3.7)（环境名为py37)...
docker构建镜像环境搭建深度学习开发环境
qq_34508123的博客
09-12 1058
我想经常需要装环境的同学应该很烦，可能因为你的不小心，导致系统崩溃等等问题，或者环境需要装另一个版本的cuda，但是目前换可能不是很方便。这些我都遇到过，那么docker可以满足你的一切需求，你可以安装不同的环境，打包然后上传，下次就算是系统崩溃，也可以快速部署环境，不用浪费太多的时间，毕竟时间是最宝贵的。我在网上找了很多相关博客还是不会，然后结合大语言模型，和自己的实际操作，写了这篇文章，主要的目的是记录。那么接下来开始吧。
论文阅读：深度学习图像数据增广方法研究综述
OctYZ的博客
09-07 2989
数据增广作为从数据层面提高机器学习模型性 能的一项重要手段，广泛应用于各个领域，尤其是那 些样本获取成本高、标注难度大的领域。按照增广数据的生成方式划分为四类：单数据变形、多数据混合、学习数据分布和学习增广策略基于学习的方法对于数据增 广同样具有广阔的发展前景，主要在于以下几个方面: 根据数据和任务基于强化学习探索最优的组合策略;基于元学习自适应地学习最优数据变形和混合方式；基于生成对抗网络进一步拟合真实数据分布以采样高质量的未知数据；基于风格迁移探索多模态数据互相转换的应用。
深度学习：卷积神经网络从入门到精通
GitChat
03-28 2万+
内容简介 全面介绍各种卷积神经网络的模型、算法及应用，指导读者把握其形成和演变的基本脉络，以帮助读者在较短的时间内从入门达到精通的水平。有兴趣的读者可以从本书开始，通过图像分类、识别、检测和分割的案例，逐步深入卷积神经网络的核心，掌握深度学习的方法和精髓，领会 AlphaGo 战胜人类世界冠军的奥秘。 作者简介 李玉鑑（鉴） 北京工业大学教授，博士生导师。华中理工大学（现名为华中科技大学）本科毕...
目标检测YOLO实战应用案例100讲-基于深度学习目标检测的白细胞分类技术研究
qq_36130719的博客
07-04 767
白细胞（White Blood Cell，WBC）是血液的主要组成部分，也是人体免疫系 统中极其重要的安全卫士，它们可以清除细菌，抵抗感染，为人体健康筑起坚固 的防线。在血常规计数领域，常常把白细胞分成单核细胞、粒细胞和淋巴细胞[ 7]。粒细胞（Granulocyte）由骨髓中的造血干细胞分化而成，是一类细胞质中包含颗 粒体的白细胞，根据在瑞氏染色下的表现可进一步分为嗜碱性粒细胞（Basophil）、 嗜酸性粒细胞（Eosinophil）和中性粒细胞（Neutrophil）。
Python-适用于VoltaTensor核心的NVIDIA深度学习示例
08-11
适用于Volta Tensor核心的NVIDIA深度学习示例
【深度学习：21 天实战 Caffe】Docker 镜像更新
卜居
11-15 8206
百度网盘已弃用。随书资源已经放在码云和 github，方便国内外朋友下载。码云：https://gitee.com/yongkezhao/PracticeCaffeIn21Daysgithub：https://github.com/zhaoyongke/Caffe21Days----------------------------------------------------------不少读者...
从零到一保姆级深度学习Docker镜像配置教程
戴璞微的学习之路
01-13 8235
主要介绍如何从零到一完成深度学习Docker镜像配置
深度学习环境配置教程：给pip命令配置镜像源
神马都会亿点点的毛毛张
01-25 2721
但是由于深度学习环境配置过程中的许多包都是国外提供的，因此网站的服务器也在国外，导致我们无法直接访问或者下载很慢。而镜像源就是把国外官方的源作了一个镜像，使得你可以在该镜像源网站上这下载软件。这篇博文记录毛毛张在配置深度学习环境中使用镜像源的教程，引用了几篇文章，均放在文章最后，力求把问题说清楚讲明白。参数是为了避免麻烦，否则使用的时候可能会提示不受信任。参数是为了避免麻烦，否则使用的时候可能会提示不受信任。首先需要切换到根目录下，切换到该目录下需要。进入根目录，新建目录。文件中，保存并退出。
Docker制作深度学习镜像常用操作
liubanxian_的博客
03-30 2274
Docker常用操作docker镜像制作相关操作Docker占用大量C盘空间处理办法 使用学校浪潮深度学习平台进行模型训练，需要制作doker镜像进行配置并上传。 docker镜像制作相关操作 从docker-hub拉取nvidia官方镜像 因为要使用gpu进行加速训练，所以必须安装显卡驱动。 命令行启动镜像docker run -v D:\a:/abc -it 镜像名称:TAG /bin/bash 容器内部安装深度学习软件 此时，使用nvidia-smi命令是无效的，因为并没有使用本地电脑的显卡，
DockerHub上热门的人工智能与机器学习镜像
生活不止眼前的苟且
06-06 707
今天小鱼逛dockerhub的时候看到AI相关有四个推荐镜像库，今天就来做个简单的介绍。
docke拉取官方镜像及深度学习环境创建
weixin_45013648的博客
02-22 1045
docker拉取nvidia官方镜像，并进行简单的conda环境搭建
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数分在路上

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值