生成与解析tensoflow2 tf_serving_warmup_requests

Daisy和她的单程车票

已于 2022-07-09 17:10:41 修改

阅读量726

点赞数

分类专栏： tensorflow2.0 文章标签： tensorflow 深度学习 python

于 2022-07-09 16:54:12 首次发布

本文链接：https://blog.csdn.net/u012513618/article/details/125695810

版权

tensorflow模型在更新的一瞬间容易产生超时， tf-serving 中的warmup主要是通过模型启动时加载model/assets.extra/tf_serving_warmup_requests达到热启动的目的，使得模型更新时不易产生超时的问题

本文主要是讲解 tf_serving_warmup_requests的生成和反解析的过程，同时由于有些模型不需要训练，在已有模型的基础上，获取旧模型的warmup的特征，并手动给部分新特征进行预热，能够减少手动构造全部特征进行预热的繁琐工作

生成tensoflow2 tf_serving_warmup_requests 文件

def gen_warmup_file():
    extra_path = 'tt/assets.extra/tf_serving_warmup_requests'
    feature={
   'a':tf.constant([[20,20],[89,90]],dtype=tf.int32),
                'b':tf.constant([

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Daisy和她的单程车票

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
2
评论
生成与解析tensoflow2 tf_serving_warmup_requests

tensoflow2 tf_serving_warmup_requests
复制链接

扫一扫

专栏目录

TensorFlow Serving API设置warmup

01-07

运行后附代码文件生成tf_serving_warmup_requests文件；置其于模型保存文件夹内的assets.extra文件夹下；重启docker API即可，可观察到屏幕输出显示warmp启动成功；保存模型的文件结构于是乎成为： . ├── assets ├── assets.extra │ └── tf_serving_warmup_requests ├── saved_model.pb └── variables ├── variables.data-00000-of-00001 └── variables.index 生成文件的代码如下： # -*-

tensorflow serving warmup

hzhj的博客

07-29

2174

warmup是通过模型启动时加载${model}/${version}/assets.extra/tf_serving_warmup_requests达到热启动的目的。如下为基于inception模型的warmup生成程序。 import tensorflow as tf from tensorflow_serving.apis import model_pb2 from tensorflo...

2 条评论您还未登录，请先登录后发表或查看评论

tensorflow tf-serving 进行warmup设置

enjoy

07-24

2485

最近发现模型在更新的一瞬间容易产生超时的问题，于是就了解了一下tf-serving 中有个warmup主要是通过模型启动时加载${model}/${version}/assets.extra/tf_serving_warmup_requests达到热启动的目的，使得模型更新时不易产生超时的问题首先根据自己的模型字段进行编写形成tf_serving_warmup_requests文件，在导出模型时和warmup文件一起导出以下是我warmup文件生成代码 #!/usr/bin/env pytho.

tensorflow serving的热启动

weixin_37721058的博客

01-08

1718

流程： 1.首先生成对应的预热数据 tf_serving_warmup_requests, 其中存储的是 PredictionLog 类型的数据 2.然后将生成的数据放到你的model的文件夹 ‘ 1/ ‘ 下面的 assets.extra里面，这个是需要自己创建的文件夹。 3.记得带上这个： --enable_model_warmup=true，然后正常运行就好了，就会看到这个。说明预热成功 ...

python 读写 tf_serving warmup文件

weixin_35338624的博客

08-03

355

import numpy import tensorflow as tf from tensorflow_serving.apis import model_pb2 from tensorflow_serving.apis import predict_pb2 from tensorflow_serving.apis import prediction_log_pb2 def gen_warmup(): with tf.python_io.TFRecordWriter("tf_serving_war.

tf_models_serving:轻松服务于Tensorflow模型:smiling_face_with_smiling_eyes:

04-13

tf_models_serving 这个回购就是我的Tensorflow servables居住的地方。当前，这是两个模型的所在地：情感分类模型和性别分类模型（均在面部图片上训练）。快速开始下载图片： docker pull camoverride/face-models:...

tensorflow_serving_client_grpc-2.2.0.tar.gz

最新发布

03-24

Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了...

tensorflow_serving_client_grpc-2.3.0.tar.gz

03-24

Python库 | tensorflow_serving_api-2.8.0-py2.py3-none-any.whl

05-10

资源分类：Python库所属语言：Python 资源全名：tensorflow_serving_api-2.8.0-py2.py3-none-any.whl 资源来源：官方安装方法：https://lanzao.blog.csdn.net/article/details/101784059

tensorflow2实现Mnist余弦退火+热重启+ 每个step的学习率输出+可视化.py

05-01

tensorflow2实现Mnist余弦退火+热重启+ 每个step的学习率输出+可视化.py

TersorFlow Serving 加载/卸载模型时请求延时变高

appletesttest的博客

03-11

1262

TersorFlow Serving 加载/卸载模型时请求延时变高生产环境中使用 TensorFlow Serving 可能会发现在加载/卸载模型时请求延时变高（数量级）。解决该问题需要多方面改进：使用独立线程来加载/卸载模型预热完成以上方面改进后，在启动 tensorflow_model_server 时，需要指定 --enable_model_warmup=true，缺省为 tr...

tensorflow serving模型转换

hzhj的博客

03-19

1113

tf serving是一款灵活的高性能机器学习服务系统，专为生产环境而设计。通过它可以轻松部署新算法和实验，同时保持服务框架和API不变。它提供了与tensorflow模型的即是可用集成，但很容易扩展以便服务其他类型的模型和数据。 tf serving的安装过程详见官网介绍。此处主要介绍tensorflow模型在docker中转换时的修改内容。修改inceptio...

tensorflow_serving通过model_config_file进行模型部署以及更新部署

CaiBaCai

05-31

5514

tensorflow_serving通过model_config_file进行模型部署以及更新部署TF Serving模型部署docker方式第一种方式第二种方式，通过model_config_file进行部署（推荐） TF Serving TF Serving架构具体包括：servables、loaders、sources、managers和core，具体内容参照tensorflow servi...

TensorFlow Serving的原理和代码实现

08-22

9263

本文介绍Tensorflow Serving的原理和代码实现, 并提供简要的代码阅读指导. 如何serve一个模型具体的步骤可以参考官方文档. 主要包括两个部分： 1. 导出模型 1. 启动服务需要说明的是导出模型部分. 如果要把我们训练的模型拿来提供服务, 除了模型本身外, 还需要一些额外的信息, 比如模型的名称, 输入、输出对应的tensor信息, 方法名, 这些东西可以...

【TensorFlow-serving】初步学习模型部署

风翼冰舟的博客

09-03

3940

前言初步学习tensorflow serving的手写数字识别模型部署。包括简单的模型训练、保存、部署上线。因为对docker和网络不太熟悉，可能会有部分错误，但是看完博客，能跑通整个流程。此博客将详细介绍流程，但是不详细介绍每个流程的每步的含义，因为这些步骤不会随着任务的不同而发生太大改变。在后续博客中可能会精细介绍每一步的含义。国际惯例，参考博客： tensorflow官方文档：低阶API...

Tensorflow 2.x 模型-部署与实践

ceshirenhemin的博客

08-11

706

很多时候模型的输入输出对我们来说是黑盒的，而在调用服务接口的时候我们需要知道模型的输入输出以及签名的key，我们可以使用saved_model_cli show --dir model/test/1 –all来查看我们需要的参数。由于tensorflow有些组件是懒加载模式，因此第一次请求预测会有很严重的延迟，为了降低懒加载的影响，需要在服务初始启动的时候给一些小的请求样本，为了降低懒加载的影响，需要在服务初始启动的时候给一些小的样本(tfrecord格式)，调用模型的预测接口，预热模型。...

RXLEV_SUB_SERVING_CELL

07-27

RXLEV_SUB_SERVING_CELL是GSM网络中的一个参数，用于表示手机当前所连接的基站（serving cell）的接收信号强度（Received Signal Level）。该参数的数值范围是0到63，数值越大表示信号强度越高。请注意，以上回答...

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交