知识蒸馏论文学习（同济子豪兄）

一. 部署工具：
MMDeploy

二. 模型压缩方法：
知识蒸馏，权值量化，剪枝（权重剪枝，通道剪枝），注意力迁移

三. 硬件部署：
rensorRT，rensorflow-slim，tensorflow-lite，openvino

四. distilling the knowleadge in a NewralNetwork
hard targets分类结果：
马：1 ， 驴：0， 汽车：0
soft targets分类结果：
马：0.7， 驴：0.25， 汽车：0.05

T为蒸馏温度，当T=1时，上式变为softmax函数。T变大时，可以提高各个标签的影响（缩小各标签差异，更soft）

知识蒸馏过程：

total loss = distilling loss * β + student loss * α