tensorflow serving
hzhj
写作不只为了传播,更重要的是思考和学习。
展开
-
tensorflow serving warmup
warmup是通过模型启动时加载${model}/${version}/assets.extra/tf_serving_warmup_requests达到热启动的目的。 如下为基于inception模型的warmup生成程序。import tensorflow as tffrom tensorflow_serving.apis import model_pb2from tensorflo...原创 2019-07-29 20:54:47 · 2202 阅读 · 0 评论 -
TF-TRT的使用
TF-TRT通过对基于tensorflow提供服务的模型进行优化后用于inference。使用方式详见examples。本文主要展示其用途及tensorrt与tensorflow间的版本对应关系。基于saved_model.pb工作流程如下。图片来自这里基于freeze_graph.pb的工作流程如下。图片来自这里nvidia官方提供了封装好的镜像,nvcr.io/nvid...原创 2019-08-10 15:32:16 · 5069 阅读 · 0 评论