Flask和Docker部署Pytorch深度学习模型

模型训练

预先训练深度学习模型，保存训练后的模型或参数，此处采用图像分类模型。

Flask搭建模型

Flask是一个使用 Python 编写的轻量级Web应用框架，可通过$pip install flask进行安装。

首先编写app.py文件

import os
from flask import Flask, render_template, request, redirect
import io
from PIL import Image
import uuid
import vision 

app = Flask(__name__)

CURRENT_DIR = os.path.dirname(os.path.abspath(__file__))
CACHE_FOLDER = os.path.join(CURRENT_DIR, 'static/')

@app.route('/', methods=['GET', 'POST'])
def upload_file():
    if request.method == 'POST':
        if 'file' not in request.files:
            return redirect(request.url)
        file = request.files.get('file')
        if not file:
            return
        # 读取上传的图像
        img_bytes = file.read()
        image = Image.open(io.BytesIO(img_bytes))
        # 获得分类结果
        image_result, class_name, class_id = vision.classify_image(image)
        # 将图像保存于本地
        img_stream = str(uuid.uuid1()) + ".jpg"
        cache_name = CACHE_FOLDER + "/" + img_stream
        image_result.savefig(cache_name, dpi=300, bbox_inches='tight')
        
        # 传递至模板
        return render_template('result.html',
                               class_id=class_id,
                               class_name=class_name,
                               img_name='结果图像保存于/static/' + img_stream)
    return render_template('index.html')

if __name__ == '__main__':
    # 地址需要是0.0.0.0，保证外机访问
    app.run(host="0.0.0.0", debug=True, port=5000)

构建Docker镜像

Docker 是一个开源的应用容器引擎，基于Go语言并遵从 Apache2.0 协议开源。 Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。 容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）, 更重要的是容器性能开销极低。

Win 10安装Docker

安装Docker Desktop：https://hub.docker.com/editions/community/docker-ce-desktop-windows/

1. 修改下载默认源

   右键桌面右下角Docker Desktop图标，选择setting - Docker Engine，修改"registry-mirrors": [ "http://hub-mirror.c.163.com" ]，改为163源。

2. 修改镜像存放目录

   默认镜像存放目录有足够容量可以跳过此步
   首先查看setting - Docker Engine - Resources - Disk image location找到默认镜像存放目录，例如：C:\ProgramData\DockerDesktop\vm-data。将文件夹vm-data剪切到想要改变的目标镜像存放目录，例如：D:\vm-data。

   以管理员身份运行cmd，输入$mklink /J "C:\ProgramData\DockerDesktop\vm-data" D:\vm-data，创建符号链接。

镜像的创建

首先新建一个名为docker_test的文件夹，内部结构如下

docker_test
----flask_app // flask项目文件夹
--------app.py // flask加载文件
--------（其他项目内文件，包括模型文件）
--------requirement.txt	
----Dockerfile 
----sources.list

下面介绍各个文件的生成

requirement.txt

1. 安装pipreqs：$pip install pipreqs
2. 在当前目录生成requirement.txt：$pipreqs . --encoding=utf8 --force，–force表示覆盖原requirement.txt。

sources.list

源列表，用于替换Ubuntu的默认源

deb-src http://archive.ubuntu.com/ubuntu xenial main restricted #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted
deb-src http://mirrors.aliyun.com/ubuntu/ xenial main restricted multiverse universe #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted multiverse universe #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ xenial universe
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe
deb http://mirrors.aliyun.com/ubuntu/ xenial multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse #Added by software-properties
deb http://archive.canonical.com/ubuntu xenial partner
deb-src http://archive.canonical.com/ubuntu xenial partner
deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted multiverse universe #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ xenial-security universe
deb http://mirrors.aliyun.com/ubuntu/ xenial-security multiverse

Dockerfile

Dockerfile 是一个用来构建镜像的文本文件，文本内容包含了一条条构建镜像所需的指令和说明。

1. 基础镜像

   可以在https://hub.docker.com/search?type=image上搜索想要的基础镜像文件，点击镜像页面上的Tags复制镜像下载命令，此处选择带有pytorch和ubuntu环境的镜像：

   

   在命令行执行$docker pull macio232/torch1.4.0-ubuntu18.04-extras:latest-nocuda下载基础镜像。

2. 编写Dockerfile

   # 基于的基础镜像
   FROM macio232/torch1.4.0-ubuntu18.04-extras:latest-nocuda
   
   # 维护者信息
   MAINTAINER name name@163.com
   
   #用ubuntu国内源替换默认源
   RUN rm /etc/apt/sources.list
   COPY sources.list /etc/apt/sources.list
   
   # 代码添加到 code 文件夹
   ADD ./flask_api_test /code
   
   # 设置 code 文件夹是工作目录
   WORKDIR /code
   
   # 更新软件包列表
   RUN apt-get update
   # 此处为cv2相关支持，无cv2可删去
   RUN apt-get install -y libsm6 libxext6 libgl1-mesa-glx libglib2.0-0
   # 安装相关支持
   RUN pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   
   # 声明镜像内服务监听的端口
   EXPOSE 5000
   
   CMD ["python", "/code/app.py"]
   

生成Docker镜像

在docker_test文件下执行$docker build -t user_name/image_name:tag .，在用户user_name下生成名为image_name、标签为tag的镜像。

运行Docker镜像

$docker run -i -p 5000:5000 user_name/image_name:tag

 * Serving Flask app "app" (lazy loading)
 * Environment: production
   WARNING: This is a development server. Do not use it in a production deployment.
   Use a production WSGI server instead.
 * Debug mode: on
 * Running on http://0.0.0.0:5000/ (Press CTRL+C to quit)
 * Restarting with stat
 * Debugger is active!

-i表示以交互模式运行容器，-p表示指定端口映射，接着即可在网址中输入localhost:5000访问。

上传Docker镜像

私有仓库

1. 右键桌面右下角Docker Desktop图标，选择setting - Docker Engine，修改"insecure-registries": [ "user_name" ]

2. 执行$docker push user_name/image_name:tag上传至user_name源

私有仓库的构建见：https://www.linuxidc.com/Linux/2018-03/151308.htm

Docker hub

1. 点击https://hub.docker.com/ 注册账号
2. 执行$docker login登陆
3. 执行$docker push user_name/image_name:tag上传