Tensorflow-serving部署模型到服务器

Tensorflow-serving部署模型到服务器

1.启动docker

systemctl start docker

2.查看已经下载的镜像

docker images
如果没有，那么拉取镜像
docker pull tensorflow/serving

4.在服务器启动docker

docker run -t --rm -p 8501:8501 -v /root/keras_tf_serving_model/my_image_classifier:/models/my_image_classifier -e MODEL_NAME=my_image_classifier tensorflow/serving
    

/root/keras_tf_serving_model/my_image_classifier这个目录下面是自己导出的model模型，

/models/my_image_classifier这个路径不用管，意思是把上面的目录映射到docker中的这个目录中去，

MODEL_NAME模型名称，在预测时候使用

-t表示是否允许伪TTY

–rm 如果实例已存在，先remove掉，然后再重启实例

-v设置磁盘映射

-p表示端口映射

-e 设置环境变量

5.预测

r = requests.post('http://localhost:8501/v1/models/my_image_classifier:predict', json=payload)

#组合输入的数据，这里的input_image是输入数据的key，在导出模型的时候使用的
payload = {
    "instances": [{'input_image': img.tolist()}]
}