trition模型注册和访问验证（易错点加粗）

已于 2023-07-12 09:53:51 修改
阅读量875 收藏
点赞数
分类专栏： tensorrt torch 文章标签： python 开发语言 Powered by 金山文档
于 2023-03-15 12:00:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bmfire/article/details/129550364
版权
该文详细介绍了如何下载并运行TritonInferenceServer的docker镜像，以及如何挂载模型路径进行模型注册。文中提到了模型配置文件的编写，特别是平台名称与推理框架的对应关系，强调了配置错误可能导致服务启动失败。此外，文章还展示了如何通过HTTP请求检查模型参数，并提供了模型推理的示例代码，强调了请求数据格式的重要性。
摘要由CSDN通过智能技术生成

  1. 下载trition server镜像并运行

    docker pull nvcr.io/nvidia/tritonserver:<xx.yy>-py3

docker run挂载模型路径 

docker run --gpus all --rm --net=host -v /path/to/docs/examples/model_repository:/models nvcr.io/nvidia/tritonserver:<xx.yy>-py3 bash

进入容器后执行

tritonserver --model-repository=/models

...

I0315 03:54:57.814177 829 server.cc:549] 
+-------------+-----------------------------------------------------------------+--------+
| Backend     | Path                                                            | Config |
+-------------+-----------------------------------------------------------------+--------+
| pytorch     | /opt/tritonserver/backends/pytorch/libtriton_pytorch.so         | {}     |
| onnxruntime | /opt/tritonserver/backends/onnxruntime/libtriton_onnxruntime.so | {}     |
| openvino    | /opt/tritonserver/backends/openvino/libtriton_openvino.so       | {}     |
| tensorrt    | /opt/tritonserver/backends/tensorrt/libtriton_tensorrt.so       | {}     |
| tensorflow  | /opt/tritonserver/backends/tensorflow1/libtriton_tensorflow1.so | {}     |
| python      | /opt/tritonserver/backends/python/libtriton_python.so           | {}     |
+-------------+-----------------------------------------------------------------+--------+

I0315 03:54:57.814214 829 server.cc:592] 
+---------------+---------+--------+
| Model         | Version | Status |
+---------------+---------+--------+
| cust_py       | 1       | READY  |
| densenet_onnx | 1       | READY  |
| fc_model_pth  | 1       | READY  |
| kfd_trt       | 1       | READY  |
+---------------+---------+--------+

I0315 03:54:57.814295 829 tritonserver.cc:1920] 
+----------------------------------+------------------------------------------------------+
| Option                           | Value                                                |
+----------------------------------+------------------------------------------------------+
| server_id                        | triton                                               |
| server_version                   | 2.15.0                                               |
| server_extensions                | classification sequence model_repository model_repos |
|                                  | itory(unload_dependents) schedule_policy model_confi |
|                                  | guration system_shared_memory cuda_shared_memory bin |
|                                  | ary_tensor_data statistics                           |
| model_repository_path[0]         | /models                                              |
| model_control_mode               | MODE_NONE                                            |
| strict_model_config              | 1                                                    |
| rate_limit                       | OFF                                                  |
| pinned_memory_pool_byte_size     | 268435456                                            |
| cuda_memory_pool_byte_size{0}    | 67108864                                             |
| response_cache_byte_size         | 0                                                    |
| min_supported_compute_capability | 6.0                                                  |
| strict_readiness                 | 1                                                    |
| exit_timeout                     | 30                                                   |
+----------------------------------+------------------------------------------------------+

I0315 03:54:57.815274 829 grpc_server.cc:4117] Started GRPCInferenceService at 0.0.0.0:8001
I0315 03:54:57.815463 829 http_server.cc:2815] Started HTTPService at 0.0.0.0:8000
I0315 03:54:57.856651 829 http_server.cc:167] Started Metrics Service at 0.0.0.0:8002

  1. 模型注册(参数配置易出错)

在宿主机模型路径下创建算法模型目录：

.
├── cust_py
│   ├── 1
│   │   ├── model.py
│   └── config.pbtxt
├── densenet_onnx
│   ├── 1
│   │   └── model.onnx
│   └── config.pbtxt
├── fc_model_pth
│   ├── 1
│   │   └── model.pt
│   └── config.pbtxt
└── kfd_trt
    ├── 1
    │   └── model.plan
    └── config.pbtxt

每个模型路径下包含模型版本文件夹和模型配置文件，以tensorrt为例：

    name: "kfd_trt"                 #模型名称
    platform: "tensorrt_plan"       #推理框架名称，不同的推理框架和platform名称对应关系如下
    max_batch_size : 0 
    input [
    {
        name: "input" 
        data_type: TYPE_FP32 
        dims: [1, 3, 224, 224 ] 
    }
    ]
    output [
    {
        name: "465" 
        data_type: TYPE_FP32
        dims: [1, 8]
    }
    ]

推理框架和platform名称对应关系：

pytorch

pytorch_libtorch

tensorrt

tensorr_plan

onnx

onnxruntime_onnx

tensorflow

tensorflow_graphdef

如果对应错误服务启动会报错

E0315 03:36:33.731745 792 model_repository_manager.cc:1890] Poll failed for model directory 'densenet_onnx': unexpected platform type onnxruntime for densenet_onnx

...

error: creating server: Internal - failed to load all models

配置项官方参考如下

https://github.com/triton-inference-server/server/blob/main/docs/README.md#metrics

  1. triton成功加载模型后，可以通过http请求查看模型参数

    config_url = "http://172.17.0.2:8000/v2/models/{}/config".format(model_name)
    res = requests.get(url=config_url)
    print("model {} config:{}".format(model_name, res.json() ))

返回结果如下：

    {
    "name": "kfd_trt",
    "platform": "tensorrt_plan",
    "backend": "tensorrt",
    "version_policy": {
        "latest": {
        "num_versions": 1
        }
    },
    "max_batch_size": 0,
    "input": [
        {
        "name": "input",
        "data_type": "TYPE_FP32",
        "format": "FORMAT_NONE",
        "dims": [
            1,
            3,
            224,
            224
        ],
        "is_shape_tensor": false,
        "allow_ragged_batch": false
        }
    ],
    "output": [
        {
        "name": "465",
        "data_type": "TYPE_FP32",
        "dims": [
            1,
            8
        ],
        "label_filename": "",
        "is_shape_tensor": false
        }
    ],
    "batch_input": [],
    "batch_output": [],
    "optimization": {
        "priority": "PRIORITY_DEFAULT",
        "input_pinned_memory": {
        "enable": true
        },
        "output_pinned_memory": {
        "enable": true
        },
        "gather_kernel_buffer_threshold": 0,
        "eager_batching": false
    },
    "instance_group": [
        {
        "name": "kfd_trt",
        "kind": "KIND_GPU",
        "count": 1,
        "gpus": [
            0
        ],
        "secondary_devices": [],
        "profile": [],
        "passive": false,
        "host_policy": ""
        }
    ],
    "default_model_filename": "model.plan",
    "cc_model_filenames": {},
    "metric_tags": {},
    "parameters": {},
    "model_warmup": []
    }

  1. 模型访问（传参类型易出错）

通过httpclent访问trition服务进行推理

    input_data  = np.ones((1,3,224,224), dtype=np.float)
    request_data = {
    "inputs": [{
        "name": "input",
        "shape": [
            1,
            3,
            224,
            224
        ],
        "datatype": "FP32",
        "data": input_data.tolist()
    }],
    "outputs": [{"name": "465"}]
    }
    req_url = "http://172.17.0.2:8000/v2/models/{}/versions/1/infer".format(model_name)
    res = requests.post(url=req_url,json=request_data)
    print("inference result:",res.json())

这里需要注意的是request_data的设置

第3步中通过模型状态查看得到的输入数据格式为

"data_type": "TYPE_FP32"

但是在推理时入参与之不同

要去掉TYPE字样，否则会出现报错

{'error': 'invalid datatype for input input'}

有来有去9527
关注
专栏目录
『NLP学习笔记』Triton推理服务器加速模型推理
AI新视界
03-22 3418
NVIDIA Triton(英伟达官网)推理服务器在生产中提供快速且可扩展的 AI。开源推理服务软件 Triton Inference Server 通过使团队能够从任何框架 (TensorFlow、NVIDIA TensorRT、PyTorch、ONNX、XGBoost、Python、自定义等) 在任何基于 GPU 或 CPU 的基础设施上部署经过训练的 AI 模型，从而简化 AI 推理(云、数据中心或边缘)。
【AI编译器】triton学习：编程模型
AI知识搬运工
06-25 1095
在过去十年里，深度神经网络 (DNNs) 已成为机器学习 (ML) 模型的一个重要分支，能够实现跨领域多种应用中的最佳性能。这些模型由一系列包括参数化（如滤波器）和非参数化（如缩小值函数）元件组成的层次结构组成，这种模式虽然运算复杂度高且计算量大，但对于多核、并行处理器来说是非常适用的。由于深度神经网络的计算能力和 GPU编程带来了极高的难度，因此对特定应用语言 (DSL)及编译器引发出广泛的学术与产业界兴趣。
部署之后，项目在服务器正常运行却无法访问
LJWWD的博客
08-04 980
1、排查端口号是否开放（防火墙） 2、是否打开安全组
使用perf_analyzer和model-analyzer测试tritonserver的模型性能超详细完整版
修炼之路
09-04 2170
在使用triton-server部署模型完成之后，我们需要测试一下模型服务的能力，这篇文章详细介绍了如何通过perf_analyzer和model-analyzer两款测试工具来测试模型服务的吞吐量
NVIDIA AI Enterprise 科普 | Triton 推理服务器 & TensorRT-LLM 两大组件介绍及实践
Xsuperzone的博客
06-20 1573
模型库中的每个模型都必须包含⼀个模型配置，该配置提供有关模型的必需和可选信息。）配置，使⽤当前最新的NVIDIA官⽅提供的镜像tritonserver:23.12-trtllm-python-py3，此版本镜像部分配置如下，⼏乎包含了运⾏TensorRT-LLM的所有环境，详情请参考此链接：（TensorRT-LLM 包含用于创建执行这些 TensorRT 引擎的 Python 和 C++ 运行时的组件，还包括与 NVIDIA Triton 推理服务器集成的后端，用于提供大模型服务的生产级系统。
7.接着跑一下triton官方教程
天启的博客
08-26 1946
在此示例中，我们将探索使用模型集成来仅通过单个网络调用在服务器端执行多个模型。这样做的好处是减少了在客户端和服务器之间复制数据的次数，并消除了网络调用固有的一些延迟。为了说明创建模型集成的过程，我们将重用中首次介绍的模型管道。在前面的示例中，我们分别执行了文本检测和识别模型，我们的客户端进行两个不同的网络调用并在其间执行各种处理步骤，例如裁剪和调整图像大小，或将张量解码为文本。下面是管道的简化图，其中一些步骤发生在客户端，一些步骤发生在服务器上。
triton server报The engine plan file is generated on an incompatible device
修炼之路
07-01 4021
错误信息 在启动triton inference server的时候报 I0701 02:42:42.028366 1 cuda_memory_manager.cc:103] CUDA memory pool is created on device 0 with size 67108864 I0701 02:42:42.031240 1 model_repository_manager.cc:1065] loading: resnet152:1 E0701 02:43:00.935893 1 loggin
Triton 模型推理使用案例、tritonclient https，grpc访问；导出onnx指定输入维度可变dynamic_axes
weixin_42357472的博客
07-14 3391
参考：https://www.cnblogs.com/infgrad/p/16283130.html https://www.bilibili.com/video/BV1ET411G7zV参考：https://github.com/triton-inference-server/server/blob/main/docs/quickstart.md **我测试安装的是nvcr.io/nvidia/tritonserver:20.09-py3 首先可以看到densenet_onnx的config.pbtxt
YoloV5 用的Triton 模型导出和测试
EmoC的博客
05-02 307
固定/不固定模型参数，都写default=[640, 640]占位如果不固定模型参数，需要在--dynamic里默认为True。这样子，做inference的时候，图片是任意的尺寸输入。
【trition-server】pytorch 文档：使用 Triton 提供 Torch-TensorRT 模型
最新发布
突围
07-05 153
Serving a Torch-TensorRT model with Triton
triton操作干货
skjmom的博客
08-13 485
Triton Inference Server 的自定义后端（backends）通常需要以共享库（SO库）的形式实现，这是因为 Triton 使用插件架构，可以加载和卸载这些库以实现不同的模型后端。作为实现后端的共享库。请求的URL应该是Triton Inference Server的推理端点，例如http://:/v2/infer，其中是服务器IP地址，是Triton的端口号。然而，Triton本身有一个主配置文件，通常是以YAML格式编写的，用于定义Triton推理服务的整体配置，包括多个模型的配置。
openstack从卷（volume）创建实例（instances）失败Error creating server: test-serverError creating server。的解决方案
weixin_54628931的博客
02-22 3395
在控制节点创建实例时，遇到以下错误。首先确保命令格式正确。 [root@controller ~]# openstack server create --flavor 0f29be3e-089d-4339-88c1-28b4edf3778b --image df4a76af-1dad-43cc-95c5-6700fee1374d --network 3b92a5e0-db76-4207-82eb-c8d6c392bb1c --block-device uuid=906ff027-3fe1-4d6e-a0
tritonserver学习之二：tritonserver编译
liupenglove的专栏
01-09 1280
【代码】tritonserver学习之三：tritonserver源码编译。
老潘的部署之路2.0.1
老潘的博客
03-25 1267
部署应该学什么，这里都总结了
使用Triton部署ONNX模型
Drmon.的博客
01-02 877
适用于各种 AI 工作负载的推理：借助 NVIDIA Triton™，在任何处理器（GPU、CPU 或其他）上，对使用基于任何框架的，经过训练的机器学习模型或深度学习模型，进行推理部署。Triton 是 NVIDIA AI 平台的一部分，可通过 NVIDIA AI Enterprise 获取。这款开源软件可针对各种工作负载，实现标准化的 AI 模型部署和执行。将onnx模型按照的模式放入指定文件夹中，onnx模型可以不指定config.pbtxt。在nvidia-Triton官方文档。
TIS教程02-模型
周先森爱吃素的博客
08-21 955
介绍Triton Inference Server的模型相关的配置。
kubernetes-一些常见的异常
热门推荐
kozazyh的专栏
06-25 1万+
1. Getting a bunch of 404 when Initializers option is activated# systemctl status kube-apiserverDec 19 12:43:30 rmxk8sctl01 kube-apiserver[7012]: I1219 12:43:30.665129 7012 wrap.go:42] GET /apis/admis...
triton保存模型方法
06-13
要保存Triton推理引擎中的模型，可以按照以下步骤进行： 1. 将模型保存为TensorRT引擎 ```python import tensorrt as trt TRT_LOGGER = trt.Logger(trt.Logger.WARNING) with trt.Builder(TRT_LOGGER) as builder...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值