墨尘的模型部署4--docker镜像tensorflow serving的多模型多版本控制（四）

最新推荐文章于 2023-06-10 10:24:06 发布

我是尘客哥

最新推荐文章于 2023-06-10 10:24:06 发布

阅读量300

点赞数

分类专栏：墨尘的模型部署

本文链接：https://blog.csdn.net/icomma/article/details/105377833

版权

本文介绍了如何在TensorFlow Serving中实现模型的多版本控制和指定版本预测。通过配置models.config文件并设置–model_config_file参数，可以加载并选择不同版本的模型进行预测。文中展示了models.config的JSON格式配置示例，并详细说明了如何使用Docker运行tensorflow serving，加载多个模型版本。此外，还提到了docker cp命令的使用技巧。

摘要由CSDN通过智能技术生成

tensorflow serving部署镜像中的模型多版本控制/指定版本预测

当模型存在多个版本时，可同时加载，并根据需要选择合适模型预测，此时需要配置models.config文件，并指定–model_config_file参数。模型名model和model1下都有4个版本模型，如下图所示。
在这里插入图片描述
配置models.config文件，json格式写法：

config字段，指定具体模型
base_path表示容器内的模型文件路径，不是本地路径
specific指定具体要加载的版本号

# 具体的models.config文件
model_config_list: {
   
    config: {
   
        name: "model",
        base_path: "/models/model",
        model_platform: "tensorflow",
        model_version_policy: {
   
          specific: {
   
              versions:1,
              versions: