文章目录 一、模型部署基础知识1)FLOPS和TOPS2)Roofline model 二、模型部署的几大误区三、模型量化1)mapping-and-shift2)quantization-granularity3)calibration-algorithm4)PTQ-and-quantizatin-analy5)QAT-and-layer-fusion 四、模型剪枝1)pruning granularity2)channel level pruning3)sparse tensor core 五、层融合 一、模型部署基础知识 1)FLOPS和TOPS 2)Roofline model 二、模型部署的几大误区 三、模型量化 1)mapping-and-shift 2)quantization-granularity 3)calibration-algorithm 4)PTQ-and-quantizatin-analy 5)QAT-and-layer-fusion 四、模型剪枝 1)pruning granularity 2)channel level pruning 3)sparse tensor core 五、层融合