怎么安装Docker这里我就不多说了,根据自己服务器的操作系统来
官方安装教程:https://docs.docker.com/get-docker/
我们使用的是tensorflow_server,docker好像没有torch_server
第一步:
拉取tensorflow/serving镜像
docker pull tensorflow/serving
第二步:
克隆tensorflow官方仓库,我们使用里面已经训练好的模型
使用的模型是saved_model_half_plus_two_cpu,这个模型比较简单,就是将模型除以2再加2
git clone --depth=1 https://github.com/tensorflow/serving
–depth=1: 为1表示只克隆最近一次commit
第三步:
创建tensorflow/serving容器
注意这里的代码要根据自己的实际情况来,模型的路径需要改
docker run -t -d -p 8501:8501 -v /home/docker/tensorflow/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu/:/models/half_plus_two -e MODEL_NAME=half_plus_two --name plustwo tensorflow/serving
-d 就是后台运行
-p 端口指定8051
-v 后面的文件路径,冒号前面的是你服务器中克隆的模型的文件路径,冒号后面就是固定的
–name 给容器起一个别名,也可以不起
第四步:
使用curl命令进行预测
curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://localhost:8501/v1/models/half_plus_two:predict
-d 的意思就是指定POST方式
预测结果:
{
"predictions": [2.5, 3.0, 4.5
]
}
这些-d -t等等命令大家不懂了就去查,人家讲的比我清楚。