当前最强深度学习服务器推理部署框架——triton(NVIDIA的)

已于 2023-10-08 15:57:10 修改
阅读量1.3k 收藏 3
点赞数
文章标签： 深度学习 服务器 人工智能
于 2023-10-08 15:54:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43117155/article/details/133682908
版权

简单粗暴直接先上源码地址

官方代码地址：https://github.com/triton-inference-server

前要：
它主要有server端和client端

server端建议docker部署
client看你自己，这里我也是docker容器，主要之前用tensorflow serving服务器推理部署时也是这样。

1. 服务端部署（接下来都是基于docker部署）：-------------------------------

第一步：拉取镜像

官方镜像地址：
https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver

拉取指令
Docker PULL指令：
docker pull nvcr.io/nvidia/tritonserver:20.09-py3（注意：一定要选对版本，我是20.09-py3版本，各位朋友要更具自己显卡驱动等等来选版本）

那有人就问怎么选对版本啊，问的好！

先看镜像所需要的cuda和驱动版本：
https://docs.nvidia.com/deeplearning/triton-inference-server/release-notes/rel_21-09.html#rel_21-09

自己的cuda和显卡驱动查看指令：
nvidia-smi和nvcc -V
在这里插入图片描述
我的训练机是匹配的，是470的驱动和cuda 11.4

第二步：好的，拉取对的版本镜像接下来就开启docker

docker run --gpus=1 --rm --net=host -v /home/dell/triton_serve/models:/models nvcr.io/nvidia/tritonserver:21.09-py3 tritonserver --model-repository=/models

解析：
–gpus=1 代表使用第一张卡，如果值为0代表用CPU推理，不写–gpus是用cpu
-p8000:8000 HTTP端口
-p8001:8001 GRPC端口（常用）
-p8002:8002 METRIC端口
-v /full/path/to/docs/examples/models/models 模型映射
nvcr.io/nvidia/tritonserver:<xx.yy>-py3 tritonserver 镜像名字

注意：“模型映射”这一行，模型文件存放格式如下

  • 本地的权重文件
models
|
+-- yolov5m_half
    |
    +-- config.pbtxt
    +-- 1
        |
        +-- model.onnx
  • config.pbtxt内容：
name: "yolov5m_half"          这个是模型名字，和上级文件夹名字一样
platform: "onnxruntime_onnx"   这里是模型格式，我肯定用的 onnxruntime_onnx
max_batch_size : 16 			这个是最大的batch，先不管

input [ 						神经网络输入口
{ 							
name: "images" 				输入口名字
data_type: TYPE_FP16 			量化数据格式，你量化FP16,就用FP16
dims: [ 3, 640, 640 ] 			输入形状
} 
]
output [ 						神经网络输出口
{ 
name: "output" 
data_type: TYPE_FP32 
dims: [8400,7 ] 
}
  • model.onnx内容：

搞深度学习的都懂，onnx权重文件，不懂的百度onnx，这里不多解释。。。

  1. 运行成功时：
    我部署5个模型，这里都ready了
    在这里插入图片描述
    ** 2.客户端部署：------------------------------------------------------------------------**

除开一些基础的库，这还需要，主要是tritonclient这个库，其它的都要是辅助，最好用这个2.37版本，其它库版本要按照它来改变。下面这些都是我本地配好的

tritonclient==2.37.0.9383150
packaging==23.1
grpcio==1.54.2
pymongo==4.2.0
numpy==1.19.2
pandas==1.2.4
tensorflow==2.6.0
requests_toolbelt==0.10.1

至于client代码编写目前只写好了grpc的检测的推理，需要找我

3. 个人部署测试结果：---------------------------------------------------------------

**

  • 速度测试：

**
相比之前tensorflow serving推理框架的100ms左右。
这边在服务器上测试yolo5m-960-fp16推理一次56ms，算是可以实时拉流推理了。

  • 显卡利用率测试：

只要你开了多显卡，它会合理平均分配利用每一张显卡。

  • 神经网络模型权重格式部署测试：

目前验证测试完onnx、tensorflow pb，还支持pt，只能说舒服。

  • 推理精度损失测试：

初步没发现大的精度损失。

  • 显卡推理量化测试：

目前测试onnx 的fp16，pb的fp16。基本都支持fp32。

欢迎使用Markdown编辑器

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

  1. 全新的界面设计 ，将会带来全新的写作体验；
  2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
  3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
  4. 全新的 KaTeX数学公式 语法；
  5. 增加了支持甘特图的mermaid语法1 功能；
  6. 增加了 多屏幕编辑 Markdown文章功能；
  7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
  8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H2O is是液体。

210 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片: Alt

居中的图片: Alt

居中并且带尺寸的图片: Alt

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

  • 项目
    • 项目
      • 项目
  1. 项目1
  2. 项目2
  3. 项目3
  • 计划任务
  • 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目Value
电脑$1600
手机$12
导管$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列第二列第三列
第一列文本居中第二列文本居右第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPEASCIIHTML
Single backticks'Isn't this fun?'‘Isn’t this fun?’
Quotes"Isn't this fun?"“Isn’t this fun?”
Dashes-- is en-dash, --- is em-dash– is en-dash, — is em-dash

创建一个自定义列表

Markdown
Text-to- HTML conversion tool
Authors
John
Luke

如何创建一个注脚

一个具有注脚的文本。2

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

2014-01-07 2014-01-09 2014-01-11 2014-01-13 2014-01-15 2014-01-17 2014-01-19 2014-01-21 已完成 进行中 计划一 计划二 现有任务 Adding GANTT diagram functionality to mermaid
  • 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：

张三 李四 王五 你好！李四, 最近怎么样? 你最近怎么样，王五？ 我很好，谢谢! 我很好，谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

这将产生一个流程图。:

链接
长方形
圆
圆角长方形
菱形
  • 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

Created with Raphaël 2.3.0 开始 我的操作 确认？ 结束 yes no
  • 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

  1. mermaid语法说明 ↩︎

  2. 注脚的解释 ↩︎

he_eeeeeeeeeee
关注
服务器：Triton Inference Server提供了优化的云和边缘推理解决方案
02-04
Triton推理服务器 最新版本：您目前在master分支上，该分支跟踪开发进度到下一发行版。 Triton Inference Server的最新版本是2.5.0，可在分支上。 Triton Inference Server提供了针对CPU和GPU优化的云和边缘推理解决方案。 Triton支持HTTP / REST和GRPC协议，该协议允许远程客户端为服务器管理的任何模型请求推理。 对于边缘部署，Triton可以作为具有C API的共享库使用，该API允许Triton的全部功能直接包含在应用程序中。 Triton Inference Server的当前版本为2.5.0，与上的triton
【主流的深度学习推理架构 OpenVino TensorRT ONNX】
weixin_42483745的博客
05-18 1143
文章目录一、前言二、NCNN三、OpenVino四、TensorRT五、MediaPipe六、ONNX 一、前言 以深度学习为主的人工智能算法模型在日常AI应用中逐渐占据主流方向，相关的各类产品也是层出不穷。我们平时所看到的AI产品，像刷脸支付、智能语音、银行的客服机器人等，都是AI算法的具体落地应用。AI技术在具体落地应用方面，和其他软件技术一样，也需要具体的部署和实施的。既然要做部署，那就会有不同平台设备上的各种不同的部署方法和相关的部署架构工具，目前在人工智能的落地部署方面，各大平台机构也都是大展身
深度学习部署神器——triton-inference-server入门教程指北
最新发布
人工智能曾小健
07-17 1213
肯定很多人想知道triton干啥的，学习这个有啥用？这里简单解释一下：triton可以充当服务框架去部署你的深度学习模型，其他用户可以通过http或者grpc去请求，相当于你用flask搭了个服务供别人请求，当然相比flask的性能高很多了triton也可以摘出C-API充当多线程推理服务框架，去除http和grpc部分，适合本地部署多模型，比如你有很多模型要部署，然后分时段调用，或者有pipeline，有了triton就省去你处理显存、内存和线程的麻烦注意，还有一个同名的。
解释一下英伟达的triton
weixin_42584758的博客
12-30 644
英伟达 Triton 是一种基于英伟达 GPU 的服务器端推理引擎，用于部署机器学习模型进行实时预测。它旨在为企业、服务提供商和研究机构提供一种高效、易于使用的方法来部署和管理机器学习推理。Triton 可以与英伟达的深度学习框架 TensorRT 集成，使开发人员能够轻松地将训练的模型部署到生产环境中。Triton 还提供了一个简单的 REST API，可用于在客户端应用程序中轻松调用机器学习模...
深度学习部署：Triton（Triton inference server）【旧称：TensorRT serving，专门针对TensorRT设计的服务器框架，后来变为Triton，支持其他推理后端】
u013250861的博客
08-01 2297
一般来说，我们都是从最主要的server开始编，编译的时候会链接core、common、backend中的代码，其他自定义backend（比如tensorrt_backend）在编译的时候也需要带上common、core、backend这三个仓库，这些关系我们可以从相应的CMakeList中找到。官方也提供了客户端，C++和python的都可以有，可以直接使用官方的，也可以根据官方提供的http协议构造自己的客户端，只要会构造body，一切都很简单。就可以发送请求，结果也会传回response里。
AI模型部署：Triton Inference Server模型部署框架简介和快速实践
2401_85375298的博客
05-30 1336
Triton Inference Server简介Docker构建Triton Inference Server环境Triton Inference Server部署一个线性模型Triton Inference Server是一款开源的推理服务框架，它的核心库基于C++编写的，旨在在生产环境中提供快速且可扩展的AI推理能力，具有以下优势支持多种深度学习框架：包括PyTorch，Tensorflow，TensorRT，ONNX，OpenVINO等产出的模型文件至此多种机器学习框架。
Nvidia Triton 使用入门教程
JineD的博客
08-03 1649
所谓自定义backend就是自己写推理过程，正常情况下整个推理过程是通过模型直接解决的，但是有一些推理过程还会包含一些业务逻辑，比如：整个推理过程需要2个模型，其中要对第一个模型的输出结果做一些逻辑判断然后修改输出才能作为第二个模型的输入，最简单的做法就是我们调用两次triton服务，先调用第一个模型获取输出然后进行业务逻辑判断和修改，然后再调用第二个模型。不过在triton中我们可以自定义一个backend把整个调用过程写在里面，这样就简化调用过程，同时也避免了一部分http传输时延。
(含代码)利用NVIDIA Triton加速Stable Diffusion XL推理速度
专注于人工智能领域的小何尚
03-13 2005
在 NVIDIA AI 推理平台上部署 SDXL 可为企业提供可扩展、可靠且经济高效的解决方案。TensorRT 和 Triton 推理服务器都可以释放性能并简化生产就绪部署，并作为的一部分包含在 Google Cloud Marketplace 上。AI Enterprise 提供 NVIDIA 支持服务以及支持 AI 推理的开源容器和框架的企业级稳定性、安全性和可管理性。企业开发人员还可以选择使用（视觉内容定制生成 AI 的代工厂）来训练、微调、优化和推断扩散基础模型。
NVIDIA AI Enterprise 科普 | Triton 推理服务器 & TensorRT-LLM 两大组件介绍及实践
Xsuperzone的博客
06-20 1572
模型库中的每个模型都必须包含⼀个模型配置，该配置提供有关模型的必需和可选信息。）配置，使⽤当前最新的NVIDIA官⽅提供的镜像tritonserver:23.12-trtllm-python-py3，此版本镜像部分配置如下，⼏乎包含了运⾏TensorRT-LLM的所有环境，详情请参考此链接：（TensorRT-LLM 包含用于创建执行这些 TensorRT 引擎的 Python 和 C++ 运行时的组件，还包括与 NVIDIA Triton 推理服务器集成的后端，用于提供大模型服务的生产级系统。
深度学习推理加速工具——tensorrtx
07-03
为了解决这一挑战，NVIDIA推出了TensorRT，一个高性能的深度学习推理优化和部署工具。本文将详细介绍TensorRTX，这是一个基于TensorRT的开源项目，特别适用于加速Yolov5、RCNN、AlexNet和DenseNet等网络模型的推理...
『NLP学习笔记』Triton推理服务器加速模型推理
AI新视界
03-22 3418
NVIDIA Triton(英伟达官网)推理服务器在生产中提供快速且可扩展的 AI。开源推理服务软件 Triton Inference Server 通过使团队能够从任何框架 (TensorFlow、NVIDIA TensorRT、PyTorch、ONNX、XGBoost、Python、自定义等) 在任何基于 GPU 或 CPU 的基础设施上部署经过训练的 AI 模型，从而简化 AI 推理(云、数据中心或边缘)。
京东使用Triton经验 - 深度学习推理优化与部署实践.pdf
02-25
京东使用Triton经验 - 深度学习推理优化与部署实践.pdf 在这篇文件中，我们可以看到京东是如何使用Triton来优化和部署深度学习模型的。Triton是一个开源的模型推理框架，能够提供高性能、灵活性和可扩展性的模型...
TensorRT部署-使用TensorRT+Triton加速部署YOLOv4-项目实战-附完整流程教程.zip
01-18
TensorRT是一个由NVIDIA开发的高性能深度学习推理（Inference）优化器和运行时，它可以为GPU提供高效的模型执行。而Triton是一个灵活的服务器，它支持多种模型并提供动态 batching 和多模型管理，旨在进一步提高推理...
深度学习模型服务端部署：Triton server+TensorRT【PyTorch格式----＞ONNX格式----＞TensorRT格式----＞利用Triton server部署】
u013250861的博客
08-01 1730
本来是想着直接用简单的Flask+TensorRT去做服务端的，但是奈何我比较懒，现在已经沉溺于Python，再去花费时间学一个Flask我估摸着时间不够，于是百度之后发现了Tritonserver，这个是NVIDIA自己做的开源产品，支持GRPC和HTTP，还说支持C API直接访问（这部分不了解，相关视频后续在官方教程里会给出）sid=493256最后说一下为什么要选择TensorRT。
NVIDIA Triton系列-YOLOV5 部署(1) -环境搭建及部署并使用Perf_Analyze测试ONNX YOLOV5M
qq_43670549的博客
09-04 1842
利用英伟达高性能部署方案Triton完成YOLOV5的trt+ensemble+python backend的部署
triton 模型部署
ineedstudytosurvive的博客
08-12 3197
Triton Inference server是Nvidia开源的模型部署服务的框架。 源码地址：https://github.com/triton-inference-server 用来加速GPU推理。 triton支持tensorrt,tensorflow,pytorch等模型后端。 部署流程: 1.docker拉镜像 docker pull nvcr.io/nvidia/tritonserver:<xx.yy>-py3 xx.yy对应你想要的版本，我的是21.07 2.构
NVIDIA Triton官方系列文章汇总（已完结）
ZONGXP的博客
11-03 638
NVIDIA Triton官方系列文章汇总
NVIDIA Triton系列02-功能与架构简介
dejahu的博客
06-16 1238
Triton 的后端就是执行模型的封装代码，每种支持的框架都有一个对应的后端作为支持，例如 tensorrt_backend 就是支持 TensorRT 模型推理所封装的后端、openvino_backend 就是支持 openvine 模型推理所封装的后端，目前在 Triton 开源项目里已经提供大约 15 种后端，技术人员可以根据开发无限扩充。**：****存放 Triton 服务器所要使用的模型文件与配置文件的存储设备，可以是本地服务器的文件系统，也可以使用 Google、
triton环境部署
weixin_43293776的博客
12-26 529
1、安装curl2、3、安装NVIDIA容器工具包4、配置库7、配置docker，使用nvidia-ctk命令配置容器运行时8、重新启动Docker守护进程9、使用nvidia-ctk命令配置容器运行时10、运行示例工作量。
deepstream triton 部署提供教程
05-30
DeepStream是一个用于视频分析的应用程序框架，而Triton是一个用于推理部署的开源平台。结合使用DeepStream和Triton可以实现高效的视频分析和推理部署。下面提供一个简单的教程，帮助你了解如何使用DeepStream和Triton进行部署。 1. 安装DeepStream 首先，你需要安装DeepStream。你可以从NVIDIA的官方网站下载最新版本的DeepStream，也可以使用包管理器进行安装。 2. 安装Triton 接下来，你需要安装Triton。你可以从NVIDIA的官方网站下载最新版本的Triton，也可以使用包管理器进行安装。安装完成后，你需要启动Triton服务。 3. 创建DeepStream应用程序 创建一个DeepStream应用程序，用于将视频流发送到Triton进行推理。你可以使用DeepStream SDK提供的示例代码作为基础，或者根据自己的需求编写应用程序。 4. 配置DeepStream 在DeepStream应用程序中，你需要配置DeepStream管道，将视频流发送到Triton进行推理。在配置文件中，你需要指定Triton服务器的IP地址和端口号，以及模型的名称和版本号。 5. 部署模型 使用Triton客户端将模型部署到Triton服务器上。你需要指定模型的名称、版本号、输入和输出格式等信息。部署完成后，你可以使用DeepStream应用程序发送视频流进行推理。 6. 运行DeepStream 运行DeepStream应用程序，将视频流发送到Triton进行推理。你可以使用DeepStream提供的命令行工具或者API进行控制和管理。 以上是一个简单的教程，帮助你了解如何使用DeepStream和Triton进行部署。当然，具体的实现细节还需要根据你的具体需求进行调整和优化。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值