一. 部署工具:
MMDeploy
二. 模型压缩方法:
知识蒸馏,权值量化,剪枝(权重剪枝,通道剪枝),注意力迁移
三. 硬件部署:
rensorRT,rensorflow-slim,tensorflow-lite,openvino
四. distilling the knowleadge in a NewralNetwork
hard targets分类结果:
马:1 , 驴:0, 汽车:0
soft targets分类结果:
马:0.7, 驴:0.25, 汽车:0.05
T为蒸馏温度,当T=1时,上式变为softmax函数。T变大时,可以提高各个标签的影响(缩小各标签差异,更soft)
知识蒸馏过程:
total loss = distilling loss * β + student loss * α