1.docker container启动(单个模型)
sudo docker run --name tfs_ner \
-p 8500:8500 \
--mount type=bind,source=/mnt/NerAdapter/exported_model,target=/models/ner_model \
-e MODEL_NAME=ner_model -t tensorflow/serving
Note:
(1)mount中的target里面的模型名与MODEL_NAME参数名保持一致;
(2)--name参数:为容器指定名字;
(3)本地模型格式如下所示,即上面的“/mnt/NerAdapter/exported_model”目录:
2.部署成功后请求报错:Trying to connect an http1.x server
解决办法:
若启动的端口是8501,则请求会出现“Trying to connect an http1.x server”这个错误。
端口8501是默认给RESTful API用的,即curl的方法,在用GRPC请求服务时,应在启动container时设置另一个接口,比如8500;