利用docker部署深度学习环境摆脱操作系统版本限制与cuda版本限制

已于 2023-04-26 11:04:24 修改
阅读量1.9k 收藏 8
点赞数 2
文章标签： docker 深度学习 linux
于 2023-04-26 11:02:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guoqingru0311/article/details/130378511
版权
文章讲述了在遇到Tensorflow1.13需要CUDA10.2，但Ubuntu22.04不支持的矛盾时，如何利用Docker进行离线部署。首先，从Ubuntu18.04镜像创建容器，然后在宿主机上安装GCC和NVIDIA驱动，接着安装Docker和nvidiadocker。在容器内部，更换镜像源，安装与宿主机相同版本的NVIDIA驱动和CUDA，避免在线安装。最后，安装项目所需的cudnn，从而在容器内构建一个能访问宿主机GPU的深度学习环境。
摘要由CSDN通过智能技术生成

利用docker部署深度学习环境摆脱操作系统版本限制与cuda版本限制


文章背景描述：
近期公司想给客户部署OCR文本识别项目，项目用到了tensorflow1.13，可支持该框架版本的cuda得低于10.2，但是客户要求的操作系统版本是Ubuntu22.04，NVIDIA官方不提供针对于Ubuntu22.04的cuda10.2，出现这种限制真的非常恶心，并且全程要求进行 离线部署。
针对此问题考虑到使用docker进行部署

大体思路如下：
1、客户安装操作系统是Ubuntu22.04，利用docker拉取Ubuntu18.04精简版镜像
2、离线下载是宿主机适配的NVIDIA驱动离线包、docker离线包、nvidia docker离线包、gcc离线包（也可以使用联网安装）、项目所需要的对应版本的cuda安装包、cudnn安装包

步骤一：
1、在宿主机安装gcc包，完毕后查看版本，验证是否安装成功
2、在宿主机安装了gcc包的前提下，安装NVIDIA驱动（不安装gcc会安装报错）
步骤二：
1、安装docker
2、安装nvidia docker，验证是否安装成功
3、拉取Ubuntu18.04官方镜像，创建容器，在创建容器时，需要传入相应的参数，以下为例：

docker run -it -d --gpus all -p 8081:8080  --name googosoft_ocr -v /home/googosoft/docker_file:/home/googosoft/docker_file 3941d3b032a8 /bin/bash

在这里插入图片描述

上述语句中，必须加上**–gpus参数，否则容器无法调用宿主机的GPU**
4、进入到创建的容器内，必须再次安装gcc，否在以下步骤会报错
安装过程中如果报错，可能是镜像源问题建议更换网易镜像源

apt install build-essential
gcc --version

镜像源：注意，我的Ubuntu是18.04版本，各个版本的镜像源不相同，需要根本实际查询修改
主要是一下连接中"bionic "参数位置需要调整，建议查询下

deb http://mirrors.163.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ bionic-backports main restricted universe multiverse

5、在容器内安装与宿主机相同版本的nvidia驱动
在这里插入图片描述
5、安装项目所需要的cuda（在安装过程中不要安装程序提示需要安装的英伟达驱动，选择no）与cudnn该步骤与常规流程一样
之后的流程基本与常规流程一样，可以没有束缚的放纵自己玩耍了

郭庆汝
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用docker切换任意版本cuda使用GPU
南意的博客
12-03 2292
在主机上运行很多下载来的机器学习代码时，这些大都运行在不同版本的tensorflow-gpu或者pytorch等的包下的。但是，运行代码的过程中，存在匹配的问题：1.不同的版本的tensorflow-gpu或pytorch对cuda版本的适配也不一样。2.不同的版本的tensorflow-gpu或pytorch对python版本的适配也不一样。3.cuda对主机操作系统的版本也有限定。
服务器docker安装多版本cuda
zdbhbc的博客
05-29 5158
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数..
制作ubuntu18.04 cuda10.2+ROS1+opencv 4.5.4的 docker镜像
最新发布
qq_28219531的博客
06-14 689
如果要使用老的JETPACK，如上图我们要使用4.6的版本。向ros源中添加ros源地址，并配置公钥，如果rosdep update执行失败，可以尝试多试几次.安装sudo 和 lsb_release工具。
WSL2使用Nvidia-Docker实现CUDA版本自由切换
郭松源的博客
03-04 4426
WSL2使用Nvidia-Docker实现不同CUDA版本的自由切换。
【软件】使用docker尝试解决CUDA的版本与显卡不匹配
s1k9y9的博客
04-06 4789
使用docker尝试解决CUDA的版本与显卡不匹配 RTX3090运行Tensorflow1.15（CUDA 11.1） 硬件介绍、系统
[人工智能-深度学习-76]：环境 - Pycharm支持github、gitee版本控制
文火冰糖（王文兵）的博客
01-01 1万+
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客 本文网址： 目录 前言： 前置条件： 第1步：设置git路径 第2步 安装gitee、github插件插件 第3步 配置访问gitee、github服务器的账号信息 第4步 创建一个本地项目，并同步到github、gitee上 第5步：当本地项目代码有变化时，提交变化至gitee 第6步：将远程仓库同步至一台新电脑 第7步：pull远程仓库的变化 前言： 通常情况下，通过本地的Linux命令
docker中使用cuda
m0_54852350的博客
05-01 1857
### 需要注意的事项: 1. 注意应用NVIDIA在docker_hub上提供的镜像, 本次使用的是:nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04 2. 在宿主机安装 nvidia-docker2 3. 运行时, 要加"–run-time=nvidia", 本次执行命令为: export DEVICES=$(ls /dev/nvidia* | xargs -I{} echo ‘–device {}:{}’) nvidia-docker run -d -it $DEVI
基于PyCharm+Docker构建深度学习开发环境操作指南1
08-08
基于Docker镜像部署SSH服务 基于基础镜像，启动容器（注意映射本地的XXX端口：容器的22端口），并在容器中部署open-ssh服务（注意配置文件的修改）
详解使用Docker快速部署ELK环境（最新5.5.1版本）
01-10
在Linux服务器上安装Docker以后，Pull相关的官方Docker镜像： docker pull docker.elastic.co/elasticsearch/elasticsearch:5.5.1 docker pull docker.elastic.co/kibana/kibana:5.5.1 docker pull docker.elastic....
详解如何使用Docker快速部署ELK环境(最新5.5.1版本)
09-30
主要介绍了详解如何使用Docker快速部署ELK环境(最新5.5.1版本),小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
ubuntu16.04多版本cuda8+cudnn5.1和cuda9+cudnn7安装
HY_JT的博客
06-03 1027
    此方法是在cuda8+cudnn5.1是在安装好的基础下进行的，cuda8+cudnn5.1的安装方法请搜索其他人的方法，在此不多介绍。    环境：ubuntu16.04，GTX1080 Ti，驱动nvidia-384，已装cuda8+cudnn5.1，两个账户aaa，bbb（避免cuda软链切换）    cuda9下载可以从英特尔官网下载（runfile）或者到此博客[1]的百度云连接...
【深度学习】多版本的Cuda及Cudnn的切换
Shwan_ma的博客
10-11 925
1. cuda的切换 cuda的切换比较简单，无需删除之前的cuda，只要修改软连接的指向即可 rm -rf /usr/local/cuda#删除之前创建的软链接 sudo ln -s /usr/local/cuda-8.0 /usr/local/cuda 查看是否切换成功; nvcc --version #查看当前 cuda 版本 2. cudnn的切换 cudnn的切换与安装一致，只要把c...
Ubuntu 21.04 使用Docker部署深度学习项目（cuda11.2+cudnn8.8+deepface）
WAF
06-02 1048
将默认runtime设定为nvidia后，docker build阶段会默认开启gpu，dockerfile中可以运行需要GPU环境的代码了。（2）docker 容器启动后,可以进入以下位置查看日志（/var/lib/docker/containers/容器ID/容器ID-json.log）（进入容器内部查看日志）使用docker load -i 命令之后，镜像的名字和标签都是none，这个问题的根本在于这个镜像压缩包在打包的时候操作不当所导致。例如，使用镜像ID打包的话导致解压的出来的镜像没有名字。
如何彻底卸载 CUDA 和 cudnn并为后续其他版本的安装做准备
热门推荐
No12angle的博客
02-11 1万+
在电脑重启后，您可以下载并安装您想要的 CUDA 和 cuDNN 的新版本。务必下载与您的显卡和系统兼容的版本，并按照 NVIDIA 提供的说明进行安装。您可以使用如 CCleaner 等第三方清理工具来帮助清理这些残留项，但请谨慎使用，并确保您知道自己在做什么，因为不当使用这些工具可能会对系统造成损害。cuDNN 通常不提供标准的卸载程序，因为它是一系列的库文件和一个包含头文件的目录。确保在安装新版本的过程中仔细阅读所有的说明，并在必要时更新您的环境变量以反映新的安装路径。
WIN11+WSL2+Docker 深度学习环境部署
godblesstao的博客
01-28 1744
Windows系统开发偶尔会出现一些系统底层的bug导致程序无法运行，开发很难受。Linux系统开发，娱乐软件少，不尽兴。双系统切换太麻烦，不能同时使用，难受！如何结合Windows和Linux，既能畅爽娱乐，又不会被底层BUG影响开发，来试试Windows的子系统WSL2吧！！本次思路为：在WIN11系统安装WSL2子系统，在WSL2子系统中安装docker engine，通过docker隔离不同的开发环境。
深度学习的实践：模型版本控制
禅与计算机程序设计艺术
03-21 861
好的,我了解您的要求。以下是关于"深度学习的实践:模型版本控制"的技术博客文章: "深度学习的实践:模型版本控制" 1.背景介绍 1.1 深度学习模型的挑战 随着深度学习技术的不断发展和应用
在docker中配置pytorch(GPU)环境，cuda终于可用
weixin_44977143的博客
09-14 4356
在docker中配置conda+pytorch(GPU)，cuda可用！并将容器保存为镜像。
docker 容器访问 GPU 资源使用指南
墨鸦的博客
02-26 1万+
docker 容器访问 GPU 资源使用指南
docker部署深度学习项目
08-16
对于部署深度学习项目，Docker 是一个非常有用的工具。以下是一些步骤来使用 Docker 部署深度学习项目： 1. 安装 Docker：首先，你需要在你的机器上安装 Docker。你可以在 Docker 官方网站上找到适合你操作系统的安装包，并按照说明进行安装。 2. 构建 Docker 镜像：接下来，你需要创建一个 Docker 镜像，其中包含你的深度学习项目所需的所有依赖项。为此，你可以编写一个 Dockerfile，其中包含安装所需的软件包、库和环境设置。然后，在终端中使用 `docker build` 命令来构建镜像。例如： ``` docker build -t my_dl_project . ``` 3. 运行 Docker 容器：一旦你构建了 Docker 镜像，你可以使用 `docker run` 命令来创建并运行一个容器。在运行容器时，你可以指定要映射的端口和要挂载的目录等选项。例如： ``` docker run -p 8888:8888 -v /path/to/your/project:/app my_dl_project ``` 这将创建一个容器，并将宿主机的端口 8888 映射到容器的端口 8888，并将宿主机上的 `/path/to/your/project` 目录挂载到容器内的 `/app` 目录。 4. 访问项目：一旦容器正在运行，你可以通过在浏览器中输入 `localhost:8888` 来访问项目。如果你在 Dockerfile 中安装了 Jupyter Notebook 或类似的工具，你可以在容器中运行它，并通过浏览器访问。 这些是使用 Docker 部署深度学习项目的基本步骤。当然，具体的步骤可能因项目的要求而有所不同。在实际部署过程中，你可能还需要考虑其他因素，如 GPU 加速和容器的规模管理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值