利用docker部署深度学习的例子

已于 2022-08-09 14:57:16 修改
阅读量1.5k 收藏 9
点赞数 2
分类专栏： 深度学习 vue docker 文章标签： docker 容器 flask tensorflow
于 2022-08-09 10:49:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49025357/article/details/126241873
版权
深度学习 同时被 3 个专栏收录
6 篇文章 0 订阅
订阅专栏
vue
2 篇文章 0 订阅
订阅专栏
docker
1 篇文章 0 订阅
订阅专栏

由于工作实际需要，训练了几个语义分割的模型，但是模型的部署落地还是第一次做，前后端分别用的是vue和flask框架，数据库采用mysql。在研究算法的同时，具备一定的部署能力也是必须的。由于单位生产上是涉密环境，环境的问题让人头疼，刚好最近在研究docker，就试着用docker容器技术对REST API模型进行部署，可以很快在涉密环境中部署好我们的深度学习模型。

下面，我利用一个简单的demo来说明问题，包括dockerfile的编写，构建镜像，启动容器，以及遇到的坑。

首先，docker是什么就不详细介绍了，可以自行百度。

简单的Flask后端接口

代码很简单，导入深度学习框架TensorFlow，输出hello docker，用于启动REST API的app.py编写如下：

# -*- coding: utf-8 -*-
# @Time    : 2022/8/6 16:29
# @Author  : xsd
# @FileName: app.py
# @Software: PyCharm
# @Function: app

from flask import Flask
app = Flask(__name__)
import tensorflow as tf
@app.route('/show')
def show_info():
    print('hello')
    return 'hello docker'

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=1234)

生成python依赖库requirements文件

       这里用到的是pipreqs第三方库，pipreqs可以自动检测当前项目下所有的组件及其版本，并生成requirements.txt文件，极大方便项目的迁移和部署包的管理。

使用步骤：

      1.pip install pipreqs

      2.在当前目录使用生成

         pipreqs ./ --encoding=utf8 --force

--encoding=utf-8:为生成目录下requirements.txt存在时覆盖

--force:强制执行，当生成目录下的requirements.txt存在时覆盖

./表示在哪个文件夹下生成requirements.txt文件

requirements.txt内容如下：

Flask==1.0.2
tensorflow_gpu==1.13.1

Dockerfile编写

接下来就是编写dockerfile，这是实现docker快速部署的关键,dockerfile指令是将python环境，项目所需第三方库、脚本运行等串起来，实现一键操作，由于用到GPU环境，查看宿主机CUDA版本为CUDA10.0+cuDNN(7.6.5)，要保持和宿主机版本一致。cudnn文件如下：

下边可以正式编写dockerfile,具体如下：

ARG ubuntu_version=18.04
ARG cuda_version=10.0
#指定Python环境
FROM nvidia/cuda:${cuda_version}-devel-ubuntu${ubuntu_version}

ARG cudnn_version=7.5.0
ARG cudnn_ln_version=7

#这里会配置一些环境变量的过程
#cuda
ENV PATH=/usr/local/cuda/bin:$PATH
ENV LD_LIBRARY_PATH=/usr/local/cuda/lib64

#cudnn
COPY ./cudnn-10.0-linux-x64-v7.5.0.56.tgz /usr/local
#RUN sed -i 's#http://archive.ubuntu.com/#http://mirrors.tuna.tsinghua.edu.cn/#' /etc/apt/sources.list;
#安装CUDA
RUN \
    cd /usr/local/ && \
    tar -zxvf cudnn-10.0-linux-x64-v7.5.0.56.tgz && \
    chmod +x /usr/local/cuda/lib64/libcudnn* && \
    chmod +x /usr/local/cuda/include/cudnn*  && \
    cd /usr/local/cuda/lib64/ && \
    ln -snf libcudnn.so.${cudnn_version} libcudnn.so.${cudnn_ln_version} && \
    ln -snf libcudnn_adv_train.so.${cudnn_version} libcudnn_adv_train.so.${cudnn_ln_version} && \
    ln -snf libcudnn_cnn_train.so.${cudnn_version} libcudnn_cnn_train.so.${cudnn_ln_version} && \
    ln -snf libcudnn_ops_train.so.${cudnn_version} libcudnn_ops_train.so.${cudnn_ln_version} && \
    ln -snf libcudnn_adv_infer.so.${cudnn_version} libcudnn_adv_infer.so.${cudnn_ln_version} && \
    ln -snf libcudnn_cnn_infer.so.${cudnn_version} libcudnn_cnn_infer.so.${cudnn_ln_version} && \
    ln -snf libcudnn_ops_infer.so.${cudnn_version} libcudnn_ops_infer.so.${cudnn_ln_version}
#添加清华源
# 添加清华源
RUN \
    apt-get update && apt-get install --assume-yes apt-utils && apt-get upgrade -y && \
    echo "deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse" > /etc/apt/sources.list && \
    echo "deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse" >> /etc/apt/sources.list && \
    echo "deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse" >> /etc/apt/sources.list && \
    echo "deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse" >> /etc/apt/sources.list

# 更新源、安装软件
RUN \
    apt-get update && apt-get upgrade -y && \
    apt-get install gcc automake autoconf libtool make wget openssl libssl-dev software-properties-common vim cmake curl git python3 python3-pip -y && \
    python3 -m pip install --upgrade pip && \
    pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
#拷贝python依赖库requirements文件到当前目录下
ADD requirements.txt /
#安装依赖库
RUN pip3 install -r /requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

#拷贝所有文件到app目录下
ADD . /app
#指定app为工作目录
WORKDIR /app
#声明端口
EXPOSE 1234
#docker 容器启动
CMD ["python3", "app.py"]

构建镜像

编写完dockerfile文件后，既可以通过docker来构建项目镜像

docker build -t keras_flask_app .

根据dockerfile中的17条指令，docker build也会经过17个步骤来生成镜像，这个过程将比较漫长，可以画画标签啥的，哈哈

Sending build context to Docker daemon  432.8MB
Step 1/17 : ARG ubuntu_version=18.04
Step 2/17 : ARG cuda_version=10.0
Step 3/17 : FROM nvidia/cuda:${cuda_version}-devel-ubuntu${ubuntu_version}
 ---> 52390d68f8ba
Step 4/17 : ARG cudnn_version=7.5.0
 ---> Using cache
 ---> 1257cc6216d3
Step 5/17 : ARG cudnn_ln_version=7
 ---> Using cache
 ---> a9a52736d18f
Step 6/17 : ENV PATH=/usr/local/cuda/bin:$PATH
 ---> Using cache
 ---> 316b0da91ca9
Step 7/17 : ENV LD_LIBRARY_PATH=/usr/local/cuda/lib64
 ---> Using cache
 ---> 1eb5ba8e2f96
Step 8/17 : COPY ./cudnn-10.0-linux-x64-v7.5.0.56.tgz /usr/local
 ---> Using cache
 ---> 89f0fc974f20
Step 9/17 : RUN     cd /usr/local/ &&     tar -zxvf cudnn-10.0-linux-x64-v7.5.0.56.tgz &&     chmod +x /usr/local/cuda/lib64/libcudnn* &&     chmod +x /usr/local/cuda/include/cudnn*                               &&     cd /usr/local/cuda/lib64/ &&     ln -snf libcudnn.so.${cudnn_version} libcudnn.so.${cudnn_ln_version} &&     ln -snf libcudnn_adv_train.so.${cudnn_version} libcudnn_adv_train.s                             o.${cudnn_ln_version} &&     ln -snf libcudnn_cnn_train.so.${cudnn_version} libcudnn_cnn_train.so.${cudnn_ln_version} &&     ln -snf libcudnn_ops_train.so.${cudnn_version} libcudnn_op                             s_train.so.${cudnn_ln_version} &&     ln -snf libcudnn_adv_infer.so.${cudnn_version} libcudnn_adv_infer.so.${cudnn_ln_version} &&     ln -snf libcudnn_cnn_infer.so.${cudnn_version} li                             bcudnn_cnn_infer.so.${cudnn_ln_version} &&     ln -snf libcudnn_ops_infer.so.${cudnn_version} libcudnn_ops_infer.so.${cudnn_ln_version}
 ---> Using cache
 ---> da2e9667552d
Step 10/17 : RUN     apt-get update && apt-get install --assume-yes apt-utils && apt-get upgrade -y &&     echo "deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricte                             d universe multiverse" > /etc/apt/sources.list &&     echo "deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse" >> /etc/apt/sources.li                             st &&     echo "deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse" >> /etc/apt/sources.list &&     echo "deb https://mirrors.tuna.t                             singhua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse" >> /etc/apt/sources.list
 ---> Using cache
 ---> 56fb09a4b89d
Step 11/17 : RUN     apt-get update && apt-get upgrade -y &&     apt-get install gcc automake autoconf libtool make wget openssl libssl-dev software-properties-common vim cmake curl g                             it python3 python3-pip -y &&     python3 -m pip install --upgrade pip &&     pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
 ---> Using cache
 ---> 02a7ebe389e9
Step 12/17 : ADD requirements.txt /
 ---> Using cache
 ---> 8f14fe0dd741
Step 13/17 : RUN pip3 install -r /requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
 ---> Using cache
 ---> cc30375227eb
Step 14/17 : ADD . /app
 ---> Using cache
 ---> 83da92fecf5d
Step 15/17 : WORKDIR /app
 ---> Using cache
 ---> 0f05af6c25c1
Step 16/17 : EXPOSE 1234
 ---> Using cache
 ---> 5d1b5b7cfb7f
Step 17/17 : CMD ["python3", "app.py"]
 ---> Using cache
 ---> 3d43018803b6
Successfully built 3d43018803b6
Successfully tagged keras_flask_app:latest

生成镜像后开始运行，使用下边的命令

docker run -it --name ai -p 1234:1234 keras_flask_app

结果报错了

ImportError: libcuda.so.1: cannot open shared object file: No such file or directory

然后，然后就各种百度，查资料，发现是要使用一个可以使用GPU的docker来启动才行，也就是用nvidia-docker来启动才行 ，不得以下边开始安装nvidia-docker

1.配置源

$ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
$ curl -s -L https://nvidia.github.io/nvidia-docker/ubuntu18.04/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
$ sudo apt-get update

2.安装nvidia-docker

$ sudo apt-get install nvidia-docker2
$ sudo systemctl restart docker

结果用下边命令测试nvidia-docker是否安装成功，还是报错

sudo docker run --rm --gpus all nvidia/cuda:10.0-base nvidia-smi

这就无奈了，然后又是各种百度，有一个爱心网友说，重启凑效，就赶紧sudo reboot now，重启之后就真的好用了。然后赶紧用nvidia-docker启动容器

1.创建容器

#docker run -idt --name 容器名 --gpus all --shm-size 16G 镜像名:版本号
docker run -idt --name ai -p 1234:1234 --gpus all --shm-size 12G keras_flask_app

2.启动容器

sudo nvidia-docker start ai

3.访问接口

成功!!!

小苏打~~
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
docker用于深度学习
小猪猪爱吃饭的博客
02-04 254
docker用于深度学习docker安装nvidia-docker的安装docker加速选择镜像容器创建容器（创建不了自己根据报错百度解决）容器关闭与打开编辑Dockerfile#Dockerfile是一个简单的文本文件，其中包含有关如何构建映像的说明。构建与上传 docker安装 curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun nvidia-docker的安装 https://github.com/NVIDIA/nvid
基于PyCharm+Docker构建深度学习开发环境操作指南1
08-08
基于Docker镜像部署SSH服务 基于基础镜像，启动容器（注意映射本地的XXX端口：容器的22端口），并在容器中部署open-ssh服务（注意配置文件的修改）
docker搭建深度学习环境
weixin_42601608的博客
12-26 313
在搭建深度学习环境时，Docker 可以提供一种方便的选择。 Docker 是一种轻量级的虚拟化技术，可以在容器中运行应用程序。 要使用 Docker 搭建深度学习环境，需要按照以下步骤进行操作： 安装 Docker：首先，需要在计算机上安装 Docker。可以在 Docker 官网上下载并安装最新版本的 Docker。 创建 Dockerfile：接下来，需要创建一个名为 Dockerfil...
Docker部署深度学习模型
最新发布
kfashfasf的博客
06-06 1147
比如我有一个目标检测的项目，我想分享给朋友，那么他首先需要在自己的电脑上配置好显卡驱动、CUDA、CuDNN，在拿到我的项目后，还需要安装各种依赖库，最后代码还不一定跑起来。​ 在这个命令中，run是创建容器的指令，-it是交互式终端，因为创建的容器就相当于一个本机中的linux服务器，我们可以通过终端与容器交互。Docker容器通常是一个Linux容器，基于Docker镜像被创建，一个运行中的容器是一个运行在Docker主机上的进程，但和主机及所有在主机上的其他进程是隔离的。
sklearn-flask-docker:使用Docker容器使用Flask部署sklearn模型的示例
03-21
sklearn-flask-docker 使用Docker容器使用Flask部署sklearn模型的示例。 本教程需要基本的Docker知识。 脚步： 1.训练模型 在此示例中，我们使用Iris训练数据集训练玩具模型。要训​​练新模型，请运行以下命令： python train.py 这将在名为model.pkl的文件中输出一个腌制模型。 2.构建包含烧瓶和模型的Docker映像 构建图像（ docker build ）称为chrisalbon / sklearn烧瓶-搬运工（ --tag chrisalbon/sklearn-flask-docker从Dockerfile）（ 。 . 该镜像的构造由Dockerfile定义。 docker build --tag chrisalbon/sklearn-flask-docker . 3.从Docker镜像构建容器 从映像chri
【Docker】基于docker构建深度学习开发环境
dddeee的专栏
12-06 6949
基于docker或主机上，在同一环境下安装所有深度学习框架，构建统一的深度学习平台
Docker入门指南：基于 docker 搭建机器学习/深度学习开发环境
xunyishuai5020的博客
08-21 4097
实际工作中，许多项目开发需要在Linux服务器上进行，本文为习惯使用 Windows 操作系统的朋友介绍一种基于Docker的，跨平台、便携性（方便移植、重新部署、可远程访问）的开发环境搭建方法。
docker完整深度学习环境搭建
changkang_woo的专栏
05-15 612
要在Docker中搭建深度学习环境，需要以下步骤：1. 安装Docker：在官网下载并安装Docker。2. 下载深度学习镜像：可以在Docker Hub上搜索需要的镜像，如TensorFlow、PyTorch等，然后使用docker pull命令下载。3. 创建容器：使用docker run命令创建容器，并指定需要挂载的目录、端口等参数。4. 进入容器：使用docker exec命令进入容器，然后在容器中进行深度学习环境的配置和使用。下面是一个示例，以TensorFlow为例：1. 安装Docker：在官
基于Docker的深度学习环境NVIDIA和CUDA部署以及WSL和linux镜像问题
xu.hyj
05-14 6857
docker的介绍网上有很多，对于深度学习的认来讲，docker的好处就是直接把环境分享给他人，他人不需要再配置环境了。比如我有一个目标检测的项目，我想分享给朋友，那么他首先需要在自己的电脑上配置好显卡驱动、CUDA、CuDNN，在拿到我的项目后，还需要安装各种依赖库，最后代码还不一定跑起来。如果我是用了docker环境进行项目配置，我只需要将环境打包好后分享给朋友。他只需要安装好显卡驱动就行，什么cuda、pytorch之类的都在我分享的环境了。
Linux服务器下利用Docker部署.net Core项目的全过程
10-16
主要给大家介绍了关于在Linux服务器下利用Docker部署.net Core项目的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用.net Core具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
利用docker来部署fastdfs集群.zip
01-09
利用docker来部署fastdfs集群.zip
docker部署Java项目流程
09-30
Docker 部署 Java 项目流程 Docker 是一个开源的应用容器引擎，基于 Go 语言开发并遵从 Apache2.0 协议开源。使用 Docker 可以让开发者封装他们的应用以及依赖包到一个可移植的容器中，然后发布到任意的 Linux 机器...
远程服务器基于docker容器的深度学习环境配置（支持GPU）
m0_63664300的博客
03-13 1792
在高高兴兴搞了一个云服务器决定开始学习深度学习的时候，决定自己配一个环境。在历尽千辛万苦之后，参考了众多从零的深度学习搭建方法，最终还是失败了。于是乎，我决定直接用deepo的docker镜像来帮助我快速搭建一个深度学习环境并进行jupyter的服务配置，这里我是用mobaxterm连接的云服务器。话不多说，进入正文。
Docker AIGC等大模型深度学习环境搭建（完整详细版）
叶子的博客
04-21 7489
本文是《》（https://blog.csdn.net/suiyingy/article/details/130169592）专栏的一部分，所述方法和步骤基本上是通用的，不局限于AIGC大模型深度学习环境。ChatGPT、Stable Diffusion等大模型属于相对较新的模型，所以依赖的Pytorch经常为torch1.12以上版本。相应的CUDA版本则至少为CUDA 11.3，并且显卡驱动对应的CUDA版本号不能小于CUDA库的版本号。下面将以CUDA 11.8驱动安装为例。
Docker | 深度学习中的docker看这一篇就够啦
weixin_44649780的博客
01-10 4870
Docker是一种相对使用较简单的容器，我们可以通过以下几种方式获取信息：1，通过docker run执行命令，或许返回信息2，通过docker logs去获取日志，做有针对性的筛选3，通过systemctl status docker查看docker服务状态4，通过journalctl -u docker.service查看日志。
利用docker部署TF深度学习模型
weixin_54202028的博客
06-07 727
利用docker部署TF深度学习模型
Docker环境部署深度学习平台
10-14 658
基本知识与概念 Docker入门教程https://www.ruanyifeng.com/blog/2018/02/docker-tutorial.html Docker —— 从入门到实践https://yeasy.gitbook.io/docker_practice/ Docker环境配置 Docker安装 Ref: https://docs.docker.com/engine/install/ubuntu/ 首先安装docker-ce。由于GPU虚拟化的需要，安装的Docker版本应>19.
docker部署深度学习项目
08-16
对于部署深度学习项目，Docker 是一个非常有用的工具。以下是一些步骤来使用 Docker 部署深度学习项目： 1. 安装 Docker：首先，你需要在你的机器上安装 Docker。你可以在 Docker 官方网站上找到适合你操作系统的安装包，并按照说明进行安装。 2. 构建 Docker 镜像：接下来，你需要创建一个 Docker 镜像，其中包含你的深度学习项目所需的所有依赖项。为此，你可以编写一个 Dockerfile，其中包含安装所需的软件包、库和环境设置。然后，在终端中使用 `docker build` 命令来构建镜像。例如： ``` docker build -t my_dl_project . ``` 3. 运行 Docker 容器：一旦你构建了 Docker 镜像，你可以使用 `docker run` 命令来创建并运行一个容器。在运行容器时，你可以指定要映射的端口和要挂载的目录等选项。例如： ``` docker run -p 8888:8888 -v /path/to/your/project:/app my_dl_project ``` 这将创建一个容器，并将宿主机的端口 8888 映射到容器的端口 8888，并将宿主机上的 `/path/to/your/project` 目录挂载到容器内的 `/app` 目录。 4. 访问项目：一旦容器正在运行，你可以通过在浏览器中输入 `localhost:8888` 来访问项目。如果你在 Dockerfile 中安装了 Jupyter Notebook 或类似的工具，你可以在容器中运行它，并通过浏览器访问。 这些是使用 Docker 部署深度学习项目的基本步骤。当然，具体的步骤可能因项目的要求而有所不同。在实际部署过程中，你可能还需要考虑其他因素，如 GPU 加速和容器的规模管理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值