Jetson调用triton inference server详细笔记

原创 已于 2023-11-24 15:13:55 修改 · 置顶 · 4.7k 阅读 · 31 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #Jetson #Triton #nvidia

于 2021-08-12 20:30:09 首次发布
本文详细介绍了如何在Jetson平台上安装和配置Triton服务器，包括triton-inference-server的安装、模型文件生成、TensorRT支持及Yolov5模型部署。涵盖了从基础环境设置到实际应用的完整过程，适合初学者和开发者快速上手。

系列文章目录

yolov5 win10 CPU与GPU环境搭建,亲测有效！
yolov5训练自己的数据集，详细教程！
yolov5转tensorrt模型
Jetson调用triton inference server详细笔记
yolov5模型部署:Triton服务器+TensorRT模型加速（基于Jetson平台）

文章目录

一、jetson安装triton-inference-server

1.1 jtop命名行查看jetpack版本与其他信息

本机盒子jetpack信息如下：
在这里插入图片描述

1.2下载对应版本的安装包

下载地址：https://github.com/triton-inference-server/server/tags
我这里选用的是：V2.11.0版本
在这里插入图片描述
选这个版本也是有理由的：因为此版本支持 TensorFlow 2.4.0、TensorFlow 1.15.5、TensorRT 7.1、OnnxRuntime 1.8.0 以及集成。自带可用的backend会多一些。在网页最下面，下载安装包：
在这里插入图片描述

1.3解压刚刚下载的安装包，并进入到对应的bin目录下

tar tritonserver2.11.0-jetpack4.5.tgz
cd tritonserver2.11.0-jetpack4.5/bin/

1.4尝试运行一下tritonserver

./ tritonserver

如出现如下错误：

error while loading shared libraries: libXXX.so.X: cannot open shared object file: No such file or directory

可能存在以下两种情况：
1.4.1可能是操作系统里确实没有包含该共享库(lib*.so.*文件)或者共享库版本不对, 遇到这种情况那就去网上下载并安装上即可。
只需要sudo apt-get install libXXX

1.4.2已经安装了该共享库, 但 执行需要调用该共享库的程序的时候, 程序按照默认共享库路径找不到该共享库文件。

	1.4.2.1 如果不知道，请查找库的放置位置：`sudo find / -name libXXX.so.X`
	1.4.2.2检查动态库路径环境变量是否存在( LD_LIBRARY_PATH)：echo $LD_LIBRARY_PATH
	1.4.2.3将`libXXX.so.X`文件复制到动态库路径环境中

注意以上两个步骤不是二选一的关系，可能同时存在，需要读者自己甄别。
若出现以下提示，说明动态库文件没问题了：
在这里插入图片描述

二、运行triton-inference-server

2.1下载相关文件包

下载地址： https://github.com/triton-inference-server/server，解压并把docs文件夹复制到tritonserver2.11.0-jetpack4.5下。
在这里插入图片描述

2.2 生成模型文件

进入到tritonserver2.11.0-jetpack4.5/docs/examples文件夹下运行

bash fetch_models.sh

会生成一个model_repository文件夹，里面包含如下内容：
在这里插入图片描述

2.3启动tritonserver

cd 进入tritonserver2.11.0-jetpack4.5/bin/
运行./tritonserver –model-repository=../docs/examples/model_repository
若出现如下提示：
在这里插入图片描述
需要把tritonserver2.11.0-jetpack4.5/backends复制到 /opt/tritionserver /opt/tritonserver下，再次运行./tritonserver –model-repository=../docs/examples/model_repository
在这里插入图片描述
出现以上系统提示，说明tritonserver启动成功了。

三、测试triton client demo

3.1安装客户端依赖项

要运行客户端，必须安装以下依赖项。

apt-get install -y --no-install-recommends \
        curl \
        pkg-config \
        python3 \
        python3-pip \
        python3-dev

pip3 install --upgrade wheel setuptools cython && \
pip3 install --upgrade grpcio-tools numpy future attrdict

3.2安装python 客户端库

python 客户端库的存在于tritonserver2.11.0-jetpack4.5/clients/python中，可以通过运行以下命令进行安装：

python3 -m pip install --upgrade clients/python/tritonclient-2.11.0-py3-none-linux_aarch64.whl[all]

3.3运行onnx分类模型demo

在tritonserver2.11.0-jetpack4.5/clinets/python目录下，运行

python3 ./image_client.py -m densenet_onnx  -s INCEPTION ~/LH/tritonserver2.11.0-jetpack4.5/qa/images/mug.jpg

此处需根据自己的路径稍加修改。
在这里插入图片描述
到这里就说明运行成功了！！！

总结

Triton 部署真的很方便，苦于之前没做过部署，弄了有一个星期，感觉还挺吃力的，现在跑动一个demo也是很开心呢！！！继续加油呀！！！
如果阅读本文对你有用，欢迎关注点赞评论收藏呀！！！
2021年8月12日20:25:55在这里插入图片描述

2024最新：AI应用架构师的性能优化案例解析（10个行业案例）
AI大模型应用之禅
08-02 1027
当AI从"实验室demo"走进"生产车间"，性能优化成为决定AI应用生死的关键——用户不会等一个2秒加载的推荐结果，医生不能忍10秒的影像诊断，自动驾驶更容不得毫秒级的延迟。2024年，AI性能优化早已不是"调参"或"加GPU"的简单活儿，而是全链路的系统工程：从模型层的"轻量化手术"，到工程层的"流水线优化"，再到算力层的"资源调度术"。用"行李箱减重"讲清楚模型剪枝/量化/蒸馏；用"高速公路修匝道"解释推理框架加速；用"出租车动态派单"类比算力调度；不同行业的性能痛点，该用什么招儿解决。
Jetson Nano官方项目jetson-inference
06-14
Jetson Nano官方项目jetson-inference
jetson nano jetson inference network model download
05-05
Because it's quite slow for downloading jetson inference network models from the official download link, then I uploaded a copy to BaiduPan. Here is a download link of pan.baidu.com for downloading jetson inference network model. Here you are!!!
Triton Inference Server 使用详解与常见问题汇总
07-18 1043
Triton Inference Server（简称 Triton）是 NVIDIA 推出的开源高性能推理服务平台，支持多种深度学习框架（ONNX、TensorFlow、PyTorch、TensorRT等），可在云端、边缘和本地高效部署 AI 模型。
服务器：Triton Inference Server提供了优化的云和边缘推理解决方案
02-04
Triton推理服务器 最新版本：您目前在master分支上，该分支跟踪开发进度到下一发行版。 Triton Inference Server的最新版本是2.5.0，可在分支上。 Triton Inference Server提供了针对CPU和GPU优化的云和边缘推理解决方案。 Triton支持HTTP / REST和GRPC协议，该协议允许远程客户端为服务器管理的任何模型请求推理。 对于边缘部署，Triton可以作为具有C API的共享库使用，该API允许Triton的全部功能直接包含在应用程序中。 Triton Inference Server的当前版本为2.5.0，与上的triton
深度学习部署：Triton（Triton inference server）【旧称：TensorRT serving，专门针对TensorRT设计的服务器框架，后来变为Triton，支持其他推理后端】
u013250861的博客
08-01 2731
一般来说，我们都是从最主要的server开始编，编译的时候会链接core、common、backend中的代码，其他自定义backend（比如tensorrt_backend）在编译的时候也需要带上common、core、backend这三个仓库，这些关系我们可以从相应的CMakeList中找到。官方也提供了客户端，C++和python的都可以有，可以直接使用官方的，也可以根据官方提供的http协议构造自己的客户端，只要会构造body，一切都很简单。就可以发送请求，结果也会传回response里。
Nvidia Triton Inference Server——强大推理和部署引擎，你值得拥有！
u012926548的博客
01-03 1542
Triton Inference Server（Triton推理服务器）是一个开源的深度学习模型推理服务框架，旨在简化深度学习模型的部署推理过程。Triton 能够从多个深度学习和机器学习框架部署任何AI模型。Triton支持在NVIDIA GPU、x86和ARM CPU或AWS Inferentia上进行云、数据中心、边缘和嵌入式设备上的推理。Triton推理服务器针对多种查询类型提供了优化的性能，包括实时、批量、集成和音视频流式处理。
使用TensorRT 和 Triton 在Jetson NX上的模型部署
苟利国
11-22 2750
Jetson因为是基于arm的与传统基于x86的主机或服务器的模型部署略有差别，但基本类似，主要分为三步。
Triton Inference Server
怨行客
04-08 863
github address 1、性能监测，优化 Model Analyzer section帮助你了解model 的 GPU内存使用率 — you can decide how to run multipe models on a single GPU. 提供analysis Concurrency: 1, throughput: 62.6 infer/sec, latency 21371 usec
部署落地篇：TensorRT 在服务器 × Jetson × 移动端的实战指南
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-12 1098
光有优化还不够，部署落地才是价值变现的关键一步。本篇将从工程实践角度，带你完整走一遍 TensorRT 在三大平台（服务器端、Jetson 边缘设备、移动端嵌入部署）上的部署路径。每个平台不仅有环境搭建、模型部署的标准流程，更有实战技巧、踩坑经验与平台选型建议，帮助你构建真正可运行、可交付的 AI 推理方案。
YOLOv8 代码逐行解析(一) 项目目录构造分析_yolov8工程目录
2401_84010176的博客
04-21 1425
链图片转存中…(img-QGzXNp4G-1713710917685)]
Triton Inference Server提供了针对NVIDIA GPU优化的云推理解决方案。-Python开发
05-25
NVIDIA TensorRT Inference Server注：您当前位于master分支上，该分支跟踪开发到下一个版本的进度。 TensorRT Inference Server的最新版本是0.8.0 beta，而NVIDIA Triton Inference Server的最新发布：您目前位于master分支上，该分支跟踪着开发方面的最新进展。 Triton Inference Server的最新版本是1.13.0，可在分支r20.03.1上获得。 Triton V2：从20.06版本开始，Triton移至版本2。master分支当前跟踪V2的开发，由于从V1到V2的过渡过程中发生了重大变化，因此它可能比平时更加​​不稳定。 旧版V1版本
TensorRT + LLM 多模态推理协同部署：高吞吐 × 精度稳定的系统级方案
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-12 1249
多模态系统正在成为 AI 应用的主流架构，如何将语言大模型（LLM）与视觉模型（如 CLIP、BLIP、SAM、YOLO）协同部署，是落地 AI Agent、VQA 系统、文图检索、场景分析的关键。 > 本文将从工程角度深入讲解如何使用 TensorRT 构建多模型异构部署体系，支持 LLM 与视觉模型协同调度，包括：多后端模型分发、动态任务图管理、显存隔离与上下文共享、异步管线执行、跨模型 Plugin 复用等能力。最终构建一个**具备高性能、可扩展、稳定性的多模态智能引擎
【工程实践】Triton Inference Server
Dong_ZH的博客
05-21 1920
Triton Inference Server是英伟达Nvidia开源的高性能推理，可以在CPU、GPU上加速模型推理的一个工具。Triton Inference Server是一个适用于深度学习与机器学习模型的推理服务引擎，支持将TensorRT、TensorFlow、PyTorch或ONNX等多种AI框架的模型部署为在线推理服务，并支持多模型管理、自定义backend等功能。将模型转成onnx之后，使用Triton Inference Server加载并提供服务，推理速度提升，内存占用减少。
【大模型】triton inference server
idiotyi的博客
08-20 685
triton inference server常用于大模型部署，可以采用http或GRPC调用，支持大部分的 backend，单GPU、多GPU都可以支持，CPU也支持。本文主要是使用triton inference server部署大模型的简单流程示例。
指南：Triton Inference Server
01-24 5021
关于triton inference server的详细记录，涉及安装，服务部署，优化。通过例子一步一步搭建一个可实际使用的服务。
Yolov5缺陷检测/目标检测 Jetson nx部署Triton server
zachary_hao的博客
08-08 2155
安装triton server 的依赖包，如果不在jetson上使用triton 客户端可以不装triton client 的依赖。下载示例模型，cd 到home/tritonserver2.35.0-jetpack5.1.2/tritonserver/bin。模型train 一个自己的model, 我选用的是yolov5l6,略微大一些， best.pt 153.1MB。其实triton server 不用安装，直接下载解压开箱即用，要安装的是一堆依赖。修改638行default=[‘engine’]
Triton Inference Server gRPC流式推理：实时数据处理方案
最新发布
gitblog_01197的博客
09-09 401
在实时数据处理场景中，传统的请求-响应模式面临三大痛点：高延迟的批次处理、资源利用率不足的连接开销、以及无法满足持续数据流的处理需求。Triton Inference Server的gRPC流式推理（ModelStreamInfer）通过全双工通信通道，实现了客户端与服务端的持续数据交互，特别适用于视频流分析、语音识别、实时推荐等低延迟要求场景。本文将系统讲解流式推理的架构设计、实现原理、性能优化...
triton inference server pytorch 推理服务 对比
08-23
### Triton Inference Server 与 PyTorch 在推理服务方面的特性与性能对比 Triton Inference Server 是 NVIDIA 推出的高性能推理服务框架，专为生产环境中的大规模模型部署而设计。它支持多种深度学习框架（如 TensorFlow、PyTorch、ONNX 等），并能高效利用 GPU 资源，显著提升推理性能[^1]。相比之下，PyTorch 是一个广泛使用的深度学习框架，主要用于模型训练和研究，但其在推理服务方面的功能较为有限。 #### 模型部署支持 Triton Inference Server 支持多种模型格式，包括 PyTorch、TensorFlow、ONNX 和自定义 C++/Python 后端。它允许用户将多个模型组合成一个推理流水线，并支持动态批处理和模型并行执行，从而最大化 GPU 利用率[^1]。PyTorch 则主要通过 TorchScript 和 `torchserve` 提供推理支持，虽然可以将模型转换为 `.pt` 或 `.pth` 文件进行部署，但其在生产环境中的灵活性和性能优化不如 Triton。 ```python # PyTorch 模型导出为 TorchScript import torch import torchvision model = torchvision.models.resnet18(pretrained=True) model.eval() example = torch.rand(1, 3, 224, 224) traced_script_module = torch.jit.trace(model, example) traced_script_module.save("resnet18.pt") ``` #### 性能优化 Triton Inference Server 的核心优势在于其推理性能优化能力。它支持动态批处理（Dynamic Batching），可以将多个请求合并为一个批次进行推理，从而提高吞吐量并降低延迟。此外，Triton 还支持模型并行执行、GPU 内存优化以及多模型流水线等高级功能，这些特性使其在大规模部署场景中表现优异。 PyTorch 的推理性能优化主要依赖于用户手动调整模型结构、使用 `torch.compile` 或 `torchscript` 进行优化。虽然 PyTorch 2.0 引入了 `torch.compile` 以提升推理速度，但在生产级部署方面，其自动优化能力仍不如 Triton。 #### 易用性与集成 Triton Inference Server 提供了 REST/gRPC 接口，支持远程调用推理服务，并可通过配置文件（如 `config.pbtxt`）定义模型部署参数。这种方式便于集成到 Kubernetes、Kubernetes-based 云服务（如 AWS SageMaker、Azure ML）等生产环境。此外，Triton 还提供了模型仓库管理、版本控制和自动加载等功能，简化了模型的上线和维护流程[^2]。 PyTorch 的推理服务主要依赖于 `torchserve`，它提供了模型打包、REST API 支持和模型版本管理等功能。然而，`torchserve` 的配置和部署流程相对繁琐，且在高并发、多模型部署场景下的性能和稳定性不如 Triton。 #### 多模型与多实例支持 Triton Inference Server 可同时部署多个模型，并支持多个模型实例并行执行。它允许用户为每个模型指定 GPU/CPU 资源分配、批处理大小和优先级，从而实现灵活的资源调度和负载均衡[^3]。这种能力使其特别适合多任务推理场景，例如同时运行图像分类、目标检测和语音识别等任务。 PyTorch 在多模型部署方面较为受限，通常需要为每个模型单独启动推理服务实例。虽然可以通过多线程或多进程方式实现一定程度的并行，但在资源调度和负载均衡方面不如 Triton 灵活。 #### 社区与生态系统支持 Triton Inference Server 由 NVIDIA 维护，并与主流深度学习框架和硬件平台（如 Jetson、TensorRT）深度集成。其开源社区活跃，文档完善，适合企业级 AI 推理部署[^3]。PyTorch 拥有庞大的研究社区和丰富的模型库（如 HuggingFace Transformers），但在生产推理服务方面，其生态系统支持仍处于发展阶段。 ###
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI小笔记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值