tensorRT 与 torchserve-GPU性能对比

已于 2022-03-02 22:53:52 修改
阅读量1.5k 收藏 12
点赞数 5
分类专栏： 计算机视觉 pytorch 文章标签： python
于 2021-09-15 16:33:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40415753/article/details/120310630
版权

实验对比

前端时间搭建了TensorRT 、 Torchserve-GPU，最近抽时间将这两种方案做一个简单的实验对比。

实验数据

  • Cuda11.0、Xeon® 6242 3.1*80、RTX3090 24G、Resnet50
  • TensorRT 、Torchserve-GPU各自一张卡搭建10进程接口，感兴趣的可以查看我个人其他文章。
  • 30进程并发 、2000 张1200*720像素图像的总量数据
  • TensorRT 的部署使用了RTX3090 10进程
  • Torchserve-GPU的部署使用了RTX3090 10进程
  • Torchserve-CPU的部署使用了3台10核40线程的CPU服务器，每台10进程

实验一 TensorRT与Cuda加速对比

  • 输入普遍使用（1,224,224,3）的浮点张量
模型torch(cpu)torch(gpu)onnx(cpu)onnx(gpu)TensorRT
resnet180.0290.00240.004-0.0012
resnet500.080.00560.0080.00300.0018
resnet1010.160.0100.0180.00510.0032
resnet1520.230.0160.0210.00740.0045
  • 结论：不同模型针对tensorrt的提速均在4-5倍左右。

实验二 TorchRT与Torchserve-gpu加速对比

  • 使用同一模型，输入不同的尺寸，尽量减少因为传输导致的耗时，使用单个数据的输入，测试单个数据的请求响应
框架输入尺寸耗时(s)
TensorRT+Flask1200 7200.14
torchserve-gpu1200 7200.05
torchserve-cpu1200 7200.28
TensorRT+Flask224 2240.018
torchserve-gpu224 2240.025
torchserve-cpu224 2240.19
TensorRT+Flask10 100.009
torchserve-gpu10 100.023
torchserve-cpu10 100.16
* 结论：大尺寸图像的信息传输是导致tensorrt耗时较长的主要原因，torchserve-gpu底层为java要比我试验时用flask(python)效率要快。
当使用小尺寸图像，将耗时主要集中在模型推导时，tensorrt的优势就体现出来了。

实验三 多尺寸并发实验

  • 分配量两张RTX3090卡，一张卡部署tensorrt、一张卡部署torchserve-gpu
框架框架进程测试并发数数据量耗时(s)CPU
TensorRT+Flask4302000 1200*72029s-
TensorRT+Flask10302000 1200 72012.2s-
Torchserve-GPU4302000 1200*72023-
Torchserve-GPU10302000 1200*72011.73-
Torchserve-CPU30302000 1200*72019.3-
框架框架进程测试并发数数据量耗时(s)CPU
TensorRT+Flask10302000 224*2243.334%
Torchserve-GPU10302000 224*2246.8321%
Torchserve-CPU30302000 224*2241348%
* 实验使用 2000张1200X720像素的图像数据、224X224像素的图像数据分别进行实验。
同时使用30并发测试2000份数据，明显可以看出tensorrt在模型方面的优势。

实验四 GPU分布并发实验

框架框架进程测试并发数数据量耗时(s)CPU
Torchserve-GPU(单卡/四卡)4302000 1200*72023/19.9-
Torchserve-GPU(单卡/四卡)10302000 1200*72011.73/8.64-
Torchserve-GPU(单卡/四卡)20302000 1200*720未知/4.76-
Torchserve-GPU(单卡/四卡)4302000 224*2248.14/5.84-
Torchserve-GPU(单卡/四卡)10302000 224*2246.83/2.77-
Torchserve-GPU(单卡/四卡)10302000 224*224未知/2.15-
  • 结论：这里主要对比了torchserve-gpu，多进程分布在一张卡要比多进程分布多张卡要慢一些。
  • 推测原因：多进程分布在一张卡，相互之间可能存在资源抢占，建议分布在多卡。
  • 推测：Tensorrt可能存在同样的问题，如果分布在多张卡，速度可再提升。

总结

  • TensorRT适合复杂模型，传输方面不会耗费太多资源的算法，如复杂模型推荐。
    不太适合大功率http传输的的算法、如cv，要不然大部分资源都浪费在了传输上。
    tensorRT主要还是针对模型前向推导的优化。
  • Torchserve-GPU 在前向推导方面逊色于TensorRT，但是模型搭建便捷。
    数据传输方面Torchserve-GPU内部应该有优化，搭建的flask+TensorRT可能存在传输效率问题。
  • Torchserve-CPU,CPU机器紧缺的情况下可以通过多点普通机器、做高并发，弥补模型推导的缺陷。
joker-G
关注
  • 5
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
yolov5_torchserve:使用在Docker上运行的YoloV5模型的Torchserve服务器，具有GPU和静态批处理推理功能以执行生产就绪的推理
05-28
在TorchServe上运行的Yolov5（与GPU兼容）！ 这是一个用于为Yolo v5对象检测模型运行TorchServe的dockerfile。 （TorchServe（PyTorch库）是一种灵活且易于使用的工具，用于服务从PyTorch导出的深度学习模型）。 您只需要在ressources文件夹中传递一个yolov5权重文件（.pt），它将部署一个http服务器，准备进行预测。 设置Docker映像 如果使用GPU，则在本地构建Torchserve映像（dockerhub一个错误）： Build the image torchserve locally for GPU before running this (cf github torchserve) https://github.com/pytorch/serve/tree/master/docker 注意：仅对于CPU
TensorFlow-TensorRT-User-Guide.pdf
11-18
TensorRT是一款高效、高性能的深度学习推理（Inference）优化器，能够针对NVIDIA GPU进行模型压缩和优化，从而在保持精度的同时提高运行速度。 1. 概览 1.1. 引言 TensorFlow是Google开发的一款强大的开源机器学习...
亚马逊和脸书发布 TorchServe 解决Pytorch 模型的部署问题
码农小胖哥
04-24 1841
4 月 21 日官方发布，PyTorch 用户可以使用 TorchServe（PyTorch 生态新的模型服务框架）来大规模部署经过训练的模型，而无需编写自定义代码。 PyTorch 是最初由 Facebook 创建的开源机器学习框架，由于其易用性在机器学习研究人员和数据科学家中广受欢迎。 但是，在生产中部署和管理模型通常是机器学习过程中最困难的部分，需要客户编写预测 API 并对它们进行扩展...
构建Torch-TensorRT的C++ 库
凉_白开的博客
04-02 765
Torch-TensorRT是一个将PyTorch模型转化为TensorRT可执行引擎的库，旨在将PyTorch模型的推理性能提升至接近TensorRT的水平。它充分利用了TensorRT在优化CUDA内核和执行计划方面的优势，使得PyTorch模型能够在NVIDIA GPU上实现高效的推理。Torch-TensorRT简化了PyTorch到TensorRT的转换过程，降低了使用门槛，使得开发者能够轻松地将PyTorch模型部署到生产环境中，实现高性能的实时推理。
【YoloV5 6.0|6.1 部署 TensorRT到torchserve】环境搭建|模型转换|engine模型部署（详细的packet文件编写方法）
m0_61139217的博客
07-05 5329
QQ: 1757093754注：Yolov5 1~5版本并没有封装完好的TensorRT转换流程，故需要借助其他方法完成模型转换，但是6.0、6.1内置TensorRT的export。tensorrtx下载链接：GitHub - wang-xinyu/tensorrtx: Implementation of popular deep learning networks with TensorRT network definition APIhttps://github.com/......
TensorRT为什么快
whaosoft143ai的博客
02-11 316
对于计算部分是可以通过模拟的方式（类似指令集仿真器）计算得到性能的，但是tensor数据流在share/L2/Global Memory的流动过程就很难通过仿真计算得到精确结果，因为要被模拟的数据量和线程数过大，何况要尝试的可能性还很多，靠CPU仿真计算的思路就别想了。cuBLAS开发的很早，应该是CUDA生态最早的一批库了吧，但是随着深度学习的普及，Nvidia又在生态中加入了cuDNN库，它的层次更高，封装了到了网络层，所以其实TensorRT也可以直接调用优化好的cuDNN库中的Kernel？
torchserve memo
zhanglp的专栏
03-17 166
docker 启动方式 1、torchserve --start 为一个后台进程
torchserve使用教程
weixin_41977938的博客
12-31 9271
官方文档地址： https://github.com/pytorch/serve/blob/master/docs/README.mdhttps://github.com/pytorch/serve/blob/master/docs/README.md 下载项目： git cloneGitHub - pytorch/serve: Model Serving on PyTorch ------Serving quick start 注：还需要安装jdk11 （1）安装依赖项 到源码根目录..
tensorrt-llm-0.8.0-cp310-cp310-win-amd64.whl
03-08
TensorRT是一个C++库，提供C++ API和Python API，主要用于NVIDIA GPU进行高性能推理加速。 TensorRT支持几乎所有的深度学习框架，包括TensorFlow、Caffe、Mxnet、Pytorch等，它可以将这些框架的模型进行优化，并...
带tensorrt的paddle1.70-gpu whl安装包
04-21
由于百度paddle官方提供的whl安装包没有包含tensorrt，需要自己从源码编译较为麻烦，这里我提供自己编译好的带tensorrt的whl安装包，...此版本为paddle1.70-gpu版本，并且带tensorRT，可以测试开启tensorrt后的加速效果
带tensorRT的paddle1.70-gpu版本whl安装包
04-21
由于百度paddle官方提供的whl安装包没有包含tensorrt，需要自己从源码编译较为麻烦，这里我提供自己编译好的带tensorrt的whl安装包，...此版本为paddle1.70-gpu版本，并且带tensorRT，可以测试开启tensorrt后的加速效果
Torchserve-基准测试：基准化Torchserve和Tensorflow服务的客户端
02-11
用法 1.目录 确保主目录中有这些文件夹。 /model-server /benchmark /conf /logs /model-store /tmp /torchserve_benchmark 并使用chmod -R 777授予这些文件夹的权限。 2.指令 rm -rf logs/; singularity run --nv -B ~/model-server:/home/model-server torchserve_latest-gpu.sif "torchserve --start --model-store /home/model-server/model-store --ts-config /home/model-server/benchmark/conf/config.properties > /home/model-server
TensorRT部署加速-采用GPU硬件解码单元配合TensorRT的YOLOv5目标检测算法的加速实现-项目源码-优质项目实战
最新发布
04-10
TensorRT部署加速_采用GPU硬件解码单元配合TensorRT进行YOLOv5目标检测算法的加速实现_项目源码_优质项目实战
解决TensorRT同一数据每次返回结果都不一致问题
努力是为了躺平
07-21 2044
问题描述： 最近进行把TF的模型转化为UFF文件部署到TensorRT。在进行测试的时候发现一个问题，同一个数据使用TRT进行推理，但是每次结果都不一样。输出的结果本应是softmax算子输出结果， 但是输出的结果看着都是随机的，而且数值求和结果非1，而是有的非常大，有的非常小。 排查了一整天发现是因为我的日志头文件导入的顺序导致这个问题。 #include "easylogging++.h" #include "common.h" #include "buffers.h" #include "Nv
TorchServe环境构建+模型更新+新模型注册
10-27 2298
torchserve环境搭建和模型在线注册方式
jetson nano: python调用yolov5-v6.0的tensorrt加速的c++代码，推理速度稳定在12fps，显存占用在0.8G以内
qq_30841655的博客
06-01 1733
python调用tensorrt加速的yolov5-v6.0的c++代码，使得推理速度12fps，显存控制在0.8G以内
【torchserve使用最终篇】修改handler文件来实现自己的推理流程|部署onnx模型|部署tensorrt模型
m0_61139217的博客
08-14 1765
在之前我们提到如何去配置torchserve，这使得我们对其有了初步的了解和认识：【torchserve安装和使用】torchserve部署方法|常见问题汇总|mmdetection使用torchserve部署|不使用docker_活成自己的样子啊的博客-CSDN博客_torchserve部署本篇旨在研究handler文件的写法，来自定义属于自己的模型推理流程。QQ：1757093754 欢迎交流、学习！先给出官网，万物官网可解决~~~：（官网还有）......
python服务器框架性能对比,几种Python Web Framework性能比较
weixin_28964423的博客
08-12 684
Published: Tue 04 June 2019参与比较的 Python 框架有：tornado,flask,falcon,bottle,djiango测试采用 ab 命令。操作系统是：CentOS 7.2 64 位。硬件指标：CPU： 4 核 内存：8 GB。测试时使用 2 核。容器采用 uwsgi 和 gunicornPython 采用 CPython2.7 和 pypy5.0。...
使用TorchServe部署PyTorch模型以进行大规模推理
热门推荐
Clement
10-26 1万+
您今天与之交互的许多服务都依赖于机器学习（ML）。从在线搜索和产品推荐到语音识别和语言翻译，这些服务都需要ML模型来进行预测。随着ML进入更多服务领域，您将面临以下挑战：获得辛勤工作的结果，并快速可靠地将模型部署到生产环境。随着使用这些服务的人数的增加，确保这些模型同时安全可靠地向数百万用户提供低延迟预测变得更具挑战性。 开发人员使用许多不同的开源框架进行模型开发。在过去的几年中，PyTorch已成为许多开发基于ML的应用程序的研究人员，开发人员和数据科学家的首选深度学习框架。他们更喜欢PyTorch，因为
tensorflow-gpu与cuda匹配
09-19
TensorFlow-GPU需要与CUDA版本匹配，以确保其能够正常工作。具体来说，TensorFlow-GPU的版本号应该与CUDA的版本号匹配，例如： - TensorFlow-GPU 2.需要CUDA 10. - TensorFlow-GPU 2.1需要CUDA 10.1 - TensorFlow-GPU 2.2需要CUDA 10.1或10.2 - TensorFlow-GPU 2.3需要CUDA 10.1或10.2 - TensorFlow-GPU 2.4需要CUDA 11. 因此，在安装TensorFlow-GPU之前，您需要先安装与其版本匹配的CUDA。如果CUDA版本不匹配，可能会导致TensorFlow-GPU无法正常工作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值