算法模型部署评估 常规步骤 1 模型转换 1.1 pytorch to ONNX/TF to ONNX/ONNX to 平台使用的方式(选取能够支持的opset version )格式 1.2 识别出不支持的算子 1.3 缺失的算子开发 1.4 自定义算子开发 2 量化 2.1 PTQ后量化 2.2 量化感知训练 2.3 混合精度 3 性能优化 3.1 High Level pipeline优化分析 3.2 分析影响延迟的子图/操作 3.3 优化网络架构,改善延迟 4 精度调优 5 并行度提升(适用于平台部署多个网络) 5.1 同时运行多个网络 5.2 将网络切分合理分配硬件资源 6 资源占用分析 6.1 CPU 资源占用 6.2 GPU 资源占用 6.3 DDR 资源占用 6.4 PCIe 资源占用(如有) 6.5 NPU资源占用