TFServing是tensorflow的模型部署框架,工业界大部分企业都会选择tfserving工具,这篇文章将详细介绍tfserving的docker部署流程,支持热更新与模型版本自动管理,一旦部署成功,线上服务稳定运行,只需要集中关心线下模型训练。
1.镜像下载,版本分为cpu和gpu版本
Docker Hubhttps://hub.docker.com/r/tensorflow/serving/tags
2:拉取镜像:
docker pull tensorflow/serving:2.8.4-gpu