claviclec的博客

原创 YOLOv7-pytorch + Triton server生产环境部署

其中 --strict-model-config=false --model-control-mode explicit 表示不自动加载模型，转为手动加载。碎碎念：不知道为啥，在显卡性能过剩情况下，处理时间比较长，猜测是传输占了时间，希望有大佬解答（采用多线程套多线程转为并发可以暂时解决）。（踩坑：triton load .trt .plan模型导致内存泄漏，原因不明，.engine可行）基于以下链接代码，导出.engine模型，注意修改export.py中的参数。（1）主文件夹下创建models文件夹；