tensorflow serving 配合docker 部署模型的多版本

docker 安装  ; tensorflow serving 服务搭建，可参数另一篇文章

     docker tensorflow 部署多模型 ckpt模型文件转pb文件

参考：

tensorflow官方文档

常规的配置文件（多模型 单一版本[最新版本]）：

model_config_list {
 config:{
    name: "english",
    base_path: "/models/multiModel/english",
    model_platform: "tensorflow",
 }
}

单模型 多版本：

     只比上述多 一个参数  model_version_policy，此处则加载文件夹中的所有模型

model_config_list {
 config:{
    name: "english",
    base_path: "/models/multiModel/english",
    model_platform: "tensorflow",
    model_version_policy:{
        all:{}
      }
 }
}

其参数中也可以指定 版本 和 别名：

   此版本对应 宿主机 模型文件夹中的 子文件夹 名称，例如，我本地的版本为 12 和 14

model_version_policy {
  specific {
    versions: 12
    versions: 14
  }
}
version_labels {
  key: 'stable'
  value: 12
}
version_labels {
  key: 'canary'
  value: 14
}

查看docker容器的启动日志

docker logs --since 3m 容器ID  （查看最近3分钟的日志）

 

采用rest api 请求地址为：

http://127.0.0.1:8501/v1/models/english/versions/14:predict

http://127.0.0.1:8501/v1/models/english/versions/12:predict

 

docker容器自启动

# 设置启动策略

docker run --restart always --name mynginx -d nginx

如果容器已经被创建，我们想要修改容器的重启策略

docker update --restart no mynginx

 

# 多个参数值选择

no 不自动重启容器. (默认值)

on-failure 容器发生error而退出(容器退出状态不为0)重启容器,可以指定重启的最大次数，如：on-failure:10

unless-stopped 在容器已经stop掉或Docker stoped/restarted的时候才重启容器

always 在容器已经stop掉或Docker stoped/restarted的时候才重启容器，手动stop的不算