模型推理服务
文章平均质量分 94
Model Inference Server框架及实战
Untitled\n
这个作者很懒,什么都没留下…
展开
-
Triton Pipeines的实现方式及对比
部署yolov5 Triton Pipelines中,简单介绍了BLS和Ensemble这两种实现Triton Pipelines的方式,本文进行了对比原创 2022-11-02 21:01:08 · 1711 阅读 · 0 评论 -
高性能部署Yolov5 Triton service
在Triton中部署yolov5目标检测服务, 并对比分析了三种优化方式,在并发数逐渐增加下的性能。原创 2022-10-30 13:44:45 · 673 阅读 · 0 评论 -
YOLOV5 TensorRT BatchedNMS
利用onnx_graphsurgeon改造原生detect层的输出张量,对接通过cuda实现的TensorRT batchedNMSPlugin原创 2022-10-30 13:15:34 · 2368 阅读 · 0 评论 -
利用Triton Pipelines部署yolov5 service
模型服务不仅包含 GPU based Inference,还包括preprocess和postprocess。通过Triton Pipelines可以提高服务的性能原创 2022-10-30 12:51:07 · 1169 阅读 · 0 评论 -
修改yolov5的detect层,提高Triton推理服务的性能
yolov5 triton部署原创 2022-10-29 19:48:55 · 2306 阅读 · 0 评论