Docker 安装 tensorflow/serving与部署模型

Docker Hub

在DockerHub(https://hub.docker.com/search?q=tensorflow%2Fser&type=image)中搜索tensorflow/serving

下载镜像

docker pull tensorflow/serving

JupyterNoteBook保存模型

tf.keras.models.save_model(model,".model/shalingzi_model/00000001")
注释1:00000001代表模型的版本号,tensorflow/serving会默认使用高版本的模型文件
注释2:默认生成 .pb 格式模型，也可以通过save_format 设置 .h5 格式

启动tensorflow/serving

docker run -p 20001:8501 --mount type=bind,\source=/root/my_model/shalingzi_model,\target=/models/shalingzi_model -e MODEL_NAME=shalingzi_model -t tensorflow/serving &

注释1:-p 20001:8501 第一个端口为外网映射端口,需要自己设定,第二个端口为容器内部端口不需要改动
注释2:source=/root/my_model/shalingzi_model 为上一步模型保存的文件夹(在00000001版本号的上一层)

post调用

import requests
import json
import numpy as np
pdata={“inputs”:[[[400.2905095],[500.235677],[400.3240724],[300.2967305],[300.220486],[300.9208911],[300.2264178],[300.2084782]]]}
print(pdata)
param=json.dumps(pdata)
res=requests.post(‘http://xx.xx.xx.xxx:20001/v1/models/yanghelan_model:predict’,data=param)
print(res.text)
返回争取的模型输出即可

多个模型部署

重复 启动tensorflow/serving 这一步,注意修改外网映射的端口号,不要重复.同时修改新的模型地址和名称

其他

重启docker容器 :docker restart 容器ID
将docker容器设置开机自启:docker update --restart=always 容器ID

更新 2020/09/22
多个模型部署同一个docker 里面
https://blog.csdn.net/JerryZhang__/article/details/86516428