docker tf-serving启动相关问题梳理

1.docker container启动（单个模型）

sudo docker run --name tfs_ner \
          -p 8500:8500 \
          --mount type=bind,source=/mnt/NerAdapter/exported_model,target=/models/ner_model \
          -e MODEL_NAME=ner_model -t tensorflow/serving

Note：

（1）mount中的target里面的模型名与MODEL_NAME参数名保持一致；

（2）--name参数：为容器指定名字；

（3）本地模型格式如下所示，即上面的“/mnt/NerAdapter/exported_model”目录：

2.部署成功后请求报错：Trying to connect an http1.x server

解决办法：

若启动的端口是8501，则请求会出现“Trying to connect an http1.x server”这个错误。

端口8501是默认给RESTful API用的，即curl的方法，在用GRPC请求服务时，应在启动container时设置另一个接口，比如8500；