知识蒸馏是2015年由Hinton提出的，它利用大模型的soft target辅助训练小模型，以实现模型压缩。通过调整softmax的温度参数T，可以得到更丰富的soft target信息，帮助student model学习数据的结构分布。该过程包括用高T值训练大模型生成soft target，然后小模型以相同T值学习这些target，最后在实际应用中恢复T值为1。这种方法将数据的分布信息从原始数据中分离并融合到新模型中。
知识蒸馏
Distilling the Knowledge in a Neural Network
这篇文章是2015年Hiton大神完成的一项黑科技技术，其第一次涉及了知识蒸馏（暗知识提取）的概念。可以从迁移学习和模型压缩的角度去理解这件事。
重点在于提出soft target来辅助hard target一起训练，而soft target来自于大模型的预测输出，为什么要用soft target？因为hard target包含的信息量（信息熵）很低，soft target包含的信息量比较大，拥有不同类之间关系的信息（比如同时分类驴和马的时候，尽管某张图片是马，但是soft target 不会像hard target那样只有马的index为1，其余为0，而可能是0.98和0.02）这样做的好处是，这个图像可能更像驴，而不是像汽车或者狗之类的，这样的soft概率存在于概率中，以及label之间的高低相似性都存在于soft target中，但是如果soft target是像这样的信息（0.98，0.01，0.01），就意义不大了，所以需要在softmax中增加温度参数T（这个设置在最终训练完之后的推理中是不需要的）
神经网络模型在预测最终的分类结果时，往往是通过softmax函数产生概率分布的，这里的T定义为温度参数，是一个超参数，qi是第i类的概率值大小
Loss 值为：
最低0.47元/天 解锁文章
扫一扫
18万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
