GRPC for torchserve

最新推荐文章于 2024-11-02 14:33:49 发布

发呆的比目鱼

最新推荐文章于 2024-11-02 14:33:49 发布

阅读量472

点赞数

分类专栏：软件开发文章标签： grpc python

本文链接：https://blog.csdn.net/weixin_42486623/article/details/121765019

版权

软件开发专栏收录该内容

15 篇文章 1 订阅

订阅专栏

该博客介绍了如何通过GRPC接口与torchserve结合，完成模型的注册、推理和注销操作。首先，需要安装torchserve及相关依赖，然后创建并启动torchserve服务。接着，利用proto文件生成Python GRPC客户端代码。最后，通过客户端脚本进行densenet161模型的注册、推理和注销演示。

摘要由CSDN通过智能技术生成

GRPC for torchserve

依赖安装

torchserve相关
pip install torchserve torch-model-archiver torch-workflow-archiver
GRPC相关
pip install -U grpcio protobuf grpcio-tools

启动torchserve

mkdir model_store
torchserve --start --ts-config ./config.properties  --model-store model_store --ncs

使用 proto 文件生成 python gRPC客户端

python -m grpc_tools.protoc --proto_path=proto/ --python_out=ts_scripts --grpc_python_out=ts_scripts proto/inference.proto proto/management.proto

densenet161模型注册

python ts_scripts/torchserve_grpc_client.py register densenet161

densenet161模型推理

python ts_scripts/torchserve_grpc_client.py infer densenet161 examples/image_classifier/kitten.jpg

densenet161模型注销

python ts_scripts/torchserve_grpc_client.py unregister densenet161

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

发呆的比目鱼

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

TorchServe生产环境模型部署

m0_44982764的博客

08-13

1473

我们训练好一个目标检测模型，想要部署在生产环境中，查了很多资料，最终选择使用TorchServe来部署。TorchServe是AWS和Facebook联合开发的，所以没有多想，选择大厂的东西应该没有错，部署模型过程中踩了很多坑，最终成功在windows10上成功部署，后面会在linux服务器上部署。 1.安装我电脑上安装的cuda版本为10.1，TorchServe对cuda10.1只支持到pytorch1.8.1或者更高版本。首先安装依赖：下载serve（https://github.com/p

TorchServe手把手落地实践

weixin_42336571的博客

06-23

1009

业界大模型部署方案、大模型应用落地实践，TorchServe部署大模型实战、在线推理服务性能优化

参与评论您还未登录，请先登录后发表或查看评论

torchserve使用教程

weixin_41977938的博客

12-31

9639

官方文档地址： https://github.com/pytorch/serve/blob/master/docs/README.mdhttps://github.com/pytorch/serve/blob/master/docs/README.md 下载项目： git cloneGitHub - pytorch/serve: Model Serving on PyTorch ------Serving quick start 注：还需要安装jdk11 （1）安装依赖项到源码根目录..

使用torchserve时出错：RESOURCE_EXHAUSTED: gRPC message exceeds maximum size 6553500: 10838210

qiumokucao的博客

04-20

1636

torchserve提示gRPC消息超出最大值

torchserver模型本地部署和docker部署

qq_15821487的博客

01-25

4146

https://www.zhihu.com/question/389731764 https://zhuanlan.zhihu.com/p/263865832 https://blog.csdn.net/qq_28613337/article/details/110438060 https://jishuin.proginn.com/p/763bfbd2c54d https://zhuanlan.zhihu.com/p/344364948 torch serverGPU部署 https://www.icod

torchserve使用-网络端访问（三）

alex1801

11-25

719

通过脚本实现网络端访问。 1、通过http访问Using REST APIs curl http://127.0.0.1:8080/predictions/densenet161 -T examples/image_classifier/kitten.jpg 实现相同功能： import cv2 from PIL import Image from io import BytesIO def test(): filename = "examples/image_cl...

2022年了，PyTorch、TensorFlow选哪个【模型可用性、部署便捷性、生态系统（嵌入式/物联网首选：TFLite + Coral）】

u013250861的博客

03-12

1103

坊间传闻：「TensorFlow 适合业界，PyTorch 适合学界」。都 2022 年了，还是这样吗？快到 2022 了，你是选 PyTorch 还是 TensorFlow？之前有一种说法：TensorFlow 适合业界，PyTorch 适合学界。这种说法到 2022 年还成立吗？在这篇文章中，作者从模型可用性、部署便捷度和生态系统三个方面对比了两个框架的优缺点，并针对不同身份的读者给出了不同的选择建议。一、模型可用性（PyTorch 胜出）在模型可用性方面，PyTorch 和 TensorFl.

TensorFlow与PyTorch模型部署性能比较

吴建明wujianming_110117

02-12

2060

TensorFlow与PyTorch模型部署性能比较前言 2022了，选 PyTorch 还是 TensorFlow？之前有一种说法：TensorFlow 适合业界，PyTorch 适合学界。这种说法到 2022 年还成立吗？从模型可用性、部署便捷度和生态系统三个方面对比了两个框架的优缺点，针对不同身份的读者给出了不同的选择建议。模型可用性对比：PyTorch 胜出在模型可用性方面，PyTorch 和 TensorFlow 表现出了明显的区别。都有官方模型库，但是对于从业者来说，这些库里的模型可能还不

torchserve使用-注册模型设置参数（二）

alex1801

03-08

2619

目录 1、自定义处理程序 2、托管多个模型 3、模型接口 3.1、添加注册新模型 3.2、查看是否注册成功 3.3、查看注册模型基本信息 3.4、设置注册模型参数 3.5、使用以下代码注销模型 3.6、模型版本控制 4、记录和指标 1、自定义处理程序 torch-model-archiver使用默认处理程序进行初始化，预处理和后处理。如果您具有自定义模型或想要引入自定义逻辑以扩展默认处理程序，则仍可以编写自定义处理程序。有关受支持的默认处理程序的完整列表，请参见GitHub repo

torchserve使用-安装测试（一）

alex1801

03-08

5676

目录 1、安装方式 2、运行分类示例 3、运行语义分割示例 4、运行目标检测示例 pytorch1.6更新后，增加torchServe文档。官网文档地址：https://pytorch.org/serve/。快速使用一下，直接跟踪至github。https://github.com/pytorch/serve/blob/master/README.md#serve-a-model TorchServe是用于服务PyTorch模型的灵活易用的工具。 TorchServe架构术语：

【torchserve使用最终篇】修改handler文件来实现自己的推理流程|部署onnx模型|部署tensorrt模型

m0_61139217的博客

08-14

2069

在之前我们提到如何去配置torchserve，这使得我们对其有了初步的了解和认识：【torchserve安装和使用】torchserve部署方法|常见问题汇总|mmdetection使用torchserve部署|不使用docker_活成自己的样子啊的博客-CSDN博客_torchserve部署本篇旨在研究handler文件的写法，来自定义属于自己的模型推理流程。QQ：1757093754 欢迎交流、学习！先给出官网，万物官网可解决~~~：（官网还有）......

tensorRT 与 torchserve-GPU性能对比

qq_40415753的博客

09-15

1793

实验对比前端时间搭建了TensorRT 、 Torchserve-GPU，最近抽时间将这两种方案做一个简单的实验对比。实验数据 Cuda11.0、RTX3090 24G、Resnet50 TensorRT 、Torchserve-GPU各自一张卡搭建10进程接口，感兴趣的可以查看我个人其他文章。 30进程并发、2000 1200*720总量数据 TensorRT 的部署使用了RTX3090 10进程 Torchserve-GPU的部署使用了RTX3090 10进程 Torchserve-CPU的部署

torchserve部署yolov5并测试（一）

qiumokucao的博客

05-19

2173

torchserve部署yolov5并测试全流程

TorchServe 简单教程

rav009的专栏

10-07

982

torchserve是Facebook和AWS联手开发的一款用于机器学习模型部署和调用的微服务程序。网址：https://pytorch.org/serve/ Torchserve调用的模型文件是 .mar 文件，pytorch生成的模型文件要使用torch-model-archiver 来转换成 mar文件。 $ torch-model-archiver usage: torch-model-archiver [-h] --model-name MODEL_NAME ..

使用TorchServe部署PyTorch模型以进行大规模推理