NVIDIA Triton
文章平均质量分 94
肆十二
那些没有把我击倒的,只会让我更强大。
展开
-
NVIDIA Triton系列02-功能与架构简介
Triton 的后端就是执行模型的封装代码,每种支持的框架都有一个对应的后端作为支持,例如 tensorrt_backend 就是支持 TensorRT 模型推理所封装的后端、openvino_backend 就是支持 openvine 模型推理所封装的后端,目前在 Triton 开源项目里已经提供大约 15 种后端,技术人员可以根据开发无限扩充。**:****存放 Triton 服务器所要使用的模型文件与配置文件的存储设备,可以是本地服务器的文件系统,也可以使用 Google、原创 2024-06-16 09:02:04 · 1047 阅读 · 0 评论 -
NVIDIA Triton系列01-应用概论
NVIDIA 的 Triton 推理服务器是一款开源软件,对于所有推理模式都可以简化在任一框架中以及任何 GPU 或 CPU 上的运行方式,从而在生产环境中使用推理计算,并且支持多模型 ensemble,以及 TensorFlow、PyTorch、ONNX 等多种深度学习模型框架,可以很好的支持多模型联合推理的场景,构建起视频、图片、语音、文本整个推理服务过程,大大降低多个模型服务的开发和维护成本。大大提高了用户的体验,并且服务器的数量减少了多达 78%,极大降低了服务的成本。原创 2024-06-15 11:35:22 · 837 阅读 · 0 评论