mxnet-docker部署方法

要点

最近有一个基于深度学习平台mxnet开发的cv类小项目，按客户要求需要部署在客户内网的服务器，安装、部署、使用阶段都无法连接互联网。在云端用apt-get\yum\pip能安装搞定的事，在这样的环境下都无法使用。所以使用docker的方式部署就是最好的选择。mxnet提供了已经做好的docker镜像版本，我们只需要在这个镜像的基础上，再增量安装所需的软件包，生成自定义镜像即可。而不需要从0开始创建镜像。同时，用 docker 这种轻量级容器实现应用程序运行环境的虚拟化，相当于开发人员在开发环境把各种依赖包打好，在生产环境直接部署使用就可以，大大简化了部署配置和集成。（基本的DevOps的思想）

基本流程

主要包括：（1）在云端开发测试环境生成自定义镜像（2）验证镜像（3）在内网部署和运行镜像

docker的安装

dockers的安装比较简单，最重要的要保证 Linux 内核版本 >=3.10

（1）将docker-18.06.0-ce.tgz上传对应目录例如：/home/docker

（2）tar xzvf docker-18.06.0-ce.tgz

（3）sudo cp docker/* /usr/bin/将docker文件夹中的内容全部移动到/usr/bin/目录下

（4）使用命令：sudo dockerd &来开启docker守护进程，以此来开启docker的使用。当终端中显示【API listen on /var/run/docker.sock】时表示docker的守护进程已经启动完毕，可以按下Ctrl+C退出。

（5）以上步骤执行完毕以后，可以输入docker的一些命令来验证docker是否能够正常使用：docker images、docker ps -a、docker --version

生成自定义镜像

在云端开发环境生成自定义镜像。因为应用程序基于 mxnet1.3 + Python2.7,同时依赖了 flask,opencv-python,gluoncv等库，所以需要一并安装

（1）先下载 mxnet/python 1.3 的镜像：因为内网服务器没有GPU，只能使用CPU，倒也省事了，不用考虑安装GPU驱动的问题，但我们可以下载mkl_cpu优化的版本，实际测试比普通（未优化过的）CPU版本快不少。

 docker pull mxnet/python:1.3.0_cpu_mkl

（2）运行镜像在交互模式：

 docker run -it -v /home/test:/usr/src/test -w /usr/src/test mxnet/python:1.3.0_cpu_mkl bash

（3）在镜像命令行模式下：

（3.1）安装flask：
pip install flask
pip install flask-cors

（3.2）安装opencv-python:
apt-get update
apt-get install libglib2.0-dev
apt-get install libsm6
apt-get install libxrender1
apt-get install libxext-dev
pip install opencv-python
（3.3）安装gluoncv:
apt-get install python-dev
apt-get install python-tk（安装时部分和X11有关的包有错误，先暂时忽略）
pip install gluoncv

（3.4）安装完成后退出：exit

（4）用安装以上这些包的容器生成新的镜像（ 比如叫 myappserver ）：
docker commit 容器ID myappserver

  完成后用 docker images 可以看到名称为 myappserver 的镜像

（5）将 myappserver 镜像保存为文件：

  docker save 镜像ID  -o /tmp/myappserver.image

   生成的镜像文件大概 1.2 G左右

镜像的部署及验证

（1）将镜像文件拷贝到内网服务器（假设拷贝为 /tmp/myappserver.image )

（2）如果已经有名称为 myappserver 的镜像或运行的容器，需要先删除

（3）装载镜像：

 docker load -i /tmp/myappserver.image

（4）将镜像改名为 myappserver：

 docker tag  镜像ID  myappserver

（5）将验证程序 docker-hello.py 拷贝到 /tmp 目录下

（6）运行 docker-hello.py ：

docker run -v /tmp:/tmp -w /tmp myappserver python docker-hello.py

保证正常打印出mxnet/numpy/cv2/gluoncv/flask的版本号

以上均用 root 用户操作

docker-hello.py 很简单，就是import各个库，然后打印版本，检查是否正常：

import os
import sys
import numpy
import mxnet
from mxnet import nd
import flask
import cv2
import gluoncv

print( "Docker env check:")
print( "Python  version=",sys.version)
print( "numpy   version=",numpy.__version__)
print( "mxnet   version=",mxnet.__version__)
print( "cv2     version=",cv2.__version__)
print( "gluoncv version=",gluoncv.__version__)
print( "flask   version=",flask.__version__)

使用docker运行服务

（1）创建用户 work,组work,主目录是/home/work,

（2）以 work 用户操作将 应用程序包 imgcls.tar.gz 在/home/work 目录下解包，解包后的程序会在 /home/work/imgcls 目录下

（3）运行 服务（用root用户操作）：

docker run -d -u 1000:1000  -p 8890:8890 -v /home/work/imgcls:/usr/src/imgcls -w /usr/src/imgcls myappserver python imgclssrv.py --bind 0.0.0.0:8890 

注：
-d 将容器作为后台运行
-u 以work用户运行(1000:1000 分别是work用户的uid和gid,这里假设都是1000)
-p 指定端口映射 默认使用 8802 端口
-v 指定文件目录映射
-w 指定工作目录
myappserver 使用的镜像名称
python imgclssrv.py --bind 0.0.0.0:8890 启动服务的python命令行

最后列一个各种软件包的版本列表