在windows上部署tensorflow serving GPU版本

最新推荐文章于 2024-03-05 17:45:26 发布
最新推荐文章于 2024-03-05 17:45:26 发布
阅读量847 收藏 2
点赞数
文章标签： windows tensorflow gpu cuda docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/meruru/article/details/115700381
版权
这篇博客详细记录了在Windows上部署TensorFlow Serving GPU版本的步骤，包括确认显卡CUDA支持、安装CUDA和cuDNN、创建TensorFlow GPU虚拟环境、配置CUDA路径、启用Hyper-V和虚拟化、安装及验证Docker、拉取TensorFlow Serving镜像、启动服务并使用POSTMAN测试REST API接口。
摘要由CSDN通过智能技术生成

文章目录

前言

目的：
更灵活：多平台可用
更高效：运行目标250-400张图/s。

博主菜鸡 / 缝合怪， 此贴仅为记录自己遇到过的坑，大佬勿喷，喷子绕道。
Markdown将文本转换为 HTML。

确认显卡是否支持CUDA

设备性能要求：NVIDIA显卡，如何查看显卡信息见：
link

没有的可以散了

安装CUDA

官方网址：link
安装步骤见：link

安装cuDNN

同上，安装步骤见：link

在Anaconda建立TensorFlow GPU虚拟环境

没有anaconda的自己装。有人说选择Windows下Python3.7时，必须选择64位，因为TF不支持Python32位（link）

配置CUDA环境路径

我的电脑——>属性——>高级系统设置——>环境变量
具体见：

最低0.47元/天 解锁文章
meruru
关注
tensorflow_gpu的各个版本的whl.rar
07-05
- **Tensorflow 1.8 GPU**: 提供了更好的内存管理，支持TensorFlow Serving，便于模型部署，还引入了自动微分功能，简化了梯度计算。 - **Tensorflow 1.9 GPU**: 强化了数据输入流水线，提高了数据预处理速度，...
墨尘的模型部署2--nvidia-docker部署Tensorflow Serving(CPU+GPU)环境准备（一）
我是尘客哥
03-31 1471
ubuntu16.04下docker部署Tensorflow Serving CPU和GPU版本（一）ubuntu16.04下docker部署Tensorflow Serving CPU版本（二）ubuntu16.04下docker部署Tensorflow Serving GPU版本1.将runtime注册到docker [具体参照官网](https://github.com/nvidia/nvi...
docker + tensorflow serving + tensorflow-gpu jupyter 部署
xzx1232010的博客
11-13 552
1.在此记录下测试步骤，方便以后查询，tensorflow serving可以解决模型生产部署问题，在使用之前先安装docker，参考官方文档安装即可，如果需要使用gpu的话，还得安装nvidia-docker，且tensorflow serving的镜像得是对应cuda的版本，例如tensorflow serving:1.12.0-gpu对应最高的cuda版本是9，cudnn版本为7； 2.d...
机器学习模型_TensorFlow Serving gpu 机器学习模型部署
weixin_39860349的博客
11-25 404
1 TensorFlow Serving简单介绍TensorFlow Serving 是一个用于机器学习模型 serving 的高性能开源库。它可以将训练好的机器学习模型部署到线上，使用 restful api或者grpc 作为接口接受外部调用，部署 TensorFlow Serving 后，你再也不需要为线上服务操心，只需要关心你的线下模型训练， 模型训练好打包成pd文件，传入tf-servin...
解决Docker + Tensorflow serving启动服务时占用所有GPU
roxxo的博客
05-29 2442
Docker + Tensorflow serving启动服务 官网命令如下 docker run -p 8503:8501 -t $USER/resnet_serving 后会将所有占用剩余的GPU ，但实际只需使用一个 启动命令中加入红色部分 docker run -p 8503:8501 --name tfserving-resnet -e NVIDIA_VISIBL...
模型部署 利用Tensorflow Serving部署模型
Fantastic
06-20 2097
使用Tensorflow框架训练好模型后，想把模型部署到生产环境可以使用进行部署。
使用 TensorRT 优化和部署TensorFlow 模型
05-10
TensorFlow 是一个广泛应用的深度学习框架，而 TensorRT 是 NVIDIA 推出的高性能深度学习推理（Inference）优化库，用于提高模型在 GPU 上的运行速度。本教程将详细探讨如何利用 TensorRT 对 TensorFlow 模型进行...
tensorflow1.13.1-gpu-c++.rar
08-07
TensorFlow 1.13.1 GPU版本是Google开源的一个强大的深度学习框架，专为高性能计算而设计，尤其在配备NVIDIA GPU的系统上表现优异。这个名为"tensorflow1.13.1-gpu-c++.rar"的压缩包，提供了适用于C++编程环境的...
TensorFlow1.1.0版本的Linux操作系统下载
01-01
同时，它还支持TensorFlow Serving，这是一个用于生产环境的模型服务系统，可以将训练好的模型快速部署到生产环境中。 在模型保存与恢复方面，1.1.0版本改进了检查点（checkpoint）和模型保存机制，用户可以更方便...
浅谈tensorflow之内存暴涨问题
12-20
在使用TensorFlow构建和训练深度学习模型时，内存管理是一个重要的方面，因为不正确的使用可能会导致内存暴涨甚至溢出。本文主要探讨了两种常见的导致内存问题的原因及其解决方案。 首先，我们要理解TensorFlow的...
Tensorflow实现多GPU并行方式
09-18
今天小编就为大家分享一篇Tensorflow实现多GPU并行方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
tensorflow-serving-api安装
Rory的博客
06-29 997
第1步 安装指定版本的tensorflow-gpu==2.4.0和tensorflow==2.4.0（cpu版本） tensoflow的cpu版本是必须的，只有gpu版本不行 第2步 pip install tensorflow-serving-api==2.4.0
tensorflow-gpu安装简单版
weixin_46805040的博客
11-10 673
tensorflow-gpu一键安装！不需要考虑python、tensorflow-gpu版本号的问题
TensorFlow Serving 入门教程（Windows）
I'm George 的博客
11-02 5152
网上大多数的教程都是基于Linux的，虽说使用起来区别不是很大，但还是有些地方需要注意的，特此写了这篇 Windows下TensorFlow Serving 的入门使用教程
Windows下，Docker的安装+TensorFlow下模型的转换+ 模型的部署
weixin_55988068的博客
05-10 1953
TensorFlow Serving是google开源的一个适用于部署机器学习的模型。它提供与TensorFlow模型的开箱即用型集成，可以轻松扩展以应用其他类型的模型和数据，同时保留相同的服务架构和API。主要作用如下：1、提供gRPC和RESTful API服务；2、支持热更新；3、支持多模型部署。TensorFlow提供了Docker、APT和源码编译三种安装方式，我后期要进行项目的部署，因此采用Docker安装。
TensorFlow Serving，GPU版安装
noirblack的专栏
07-06 8328
TensorFlow Serving，GPUTensorflow serving 是一个开源的工具，主要用来部署训练好的模型，进行Inference。 Tensorflow serving Github地址 本文主要介绍tensorflow serving的安装，支持GPU模型。安装依赖BazelTensorFlow Serving 要求0.4.5以上的Bazel。Bazel 的安装说明her
Tensorflow2.0+部署（tensorflow/serving）过程备忘记录Windows+Linux
最新发布
hpu_lx
03-05 1430
1.先拿官方例子测试一下，先下载一下tensorflow/serving2.6.0，然后在该目录结构下，找到 saved_model_half_plus_two_gpu例子，整体拷贝到想要放置的位置。下面的绝对路径表示模型存放的实际路径，最后一个参数项需要指定运行的容器和版本，里面的其他参数照猫画虎吧，很好理解，具体参数项也比较复杂。直接右键运行，得到结果，表示该程序检测出了9个目标，概率值+标签+目标框像素位置如下，通过解析json，可以得到目标检测结果。yolo_eval_2表示标签值；
TensorFlow Serving使用指南
qq128252的博客
01-29 988
TensorFlow Serving 是一个适用于机器学习模型的灵活、高性能应用系统，专为生产环境而设计。借助 TensorFlow Serving，您可以轻松部署新算法和实验，同时保留相同的服务器架构和 API。TensorFlow Serving 提供与 TensorFlow 模型的开箱即用型集成，但也可以轻松扩展以应用其他类型的模型和数据。
在linux上启动tensorflow serving GPU
meruru的博客
04-26 473
！！注意：本文仅包括如何启动，不包如何安装，仅为个人记录贴。 本人技术水平：毫无后端、linux基础，所以文章难度偏向入门级傻瓜教程 在linux启动上tensorflow gpu *Linux系统只能用xshell等工具启动 打开Xshell（或Xmanager、MobieXterm等）–>登录端口192.168.200.199:22—>初次登录输入密码 激活环境：conda activate tensorflow-server cd到python文件所在路径下 Testd.
TensorFlowServing在广告CTR预估的线上实践与性能优化
在本文中，作者分享了美团用户增长组使用 TensorFlowServing 部署 WDL（Wide&Deep Learning）模型的实践经验，以及如何优化线上服务性能。 1. 离线训练流程： - 数据准备：使用 Spark 生成 TensorFlow 兼容的 ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值