模型部署
文章平均质量分 67
实战总结模型部署中要点
问答博主
某大型上市公司算法方向架构师
展开
-
triton操作干货
Triton Inference Server 的自定义后端(backends)通常需要以共享库(SO库)的形式实现,这是因为 Triton 使用插件架构,可以加载和卸载这些库以实现不同的模型后端。作为实现后端的共享库。请求的URL应该是Triton Inference Server的推理端点,例如http://:/v2/infer,其中是服务器IP地址,是Triton的端口号。然而,Triton本身有一个主配置文件,通常是以YAML格式编写的,用于定义Triton推理服务的整体配置,包括多个模型的配置。原创 2023-08-13 22:40:29 · 290 阅读 · 1 评论 -
tensorrt实战要点
tensorrt使用最关键的两个问题原创 2023-08-11 00:36:32 · 43 阅读 · 1 评论