知识蒸馏概念补充

知识蒸馏

Distilling the Knowledge in a Neural Network
这篇文章是2015年Hiton大神完成的一项黑科技技术，其第一次涉及了知识蒸馏（暗知识提取）的概念。可以从迁移学习和模型压缩的角度去理解这件事。
重点在于提出soft target来辅助hard target一起训练，而soft target来自于大模型的预测输出，为什么要用soft target？因为hard target包含的信息量（信息熵）很低，soft target包含的信息量比较大，拥有不同类之间关系的信息（比如同时分类驴和马的时候，尽管某张图片是马，但是soft target 不会像hard target那样只有马的index为1，其余为0，而可能是0.98和0.02）这样做的好处是，这个图像可能更像驴，而不是像汽车或者狗之类的，这样的soft概率存在于概率中，以及label之间的高低相似性都存在于soft target中，但是如果soft target是像这样的信息（0.98，0.01，0.01），就意义不大了，所以需要在softmax中增加温度参数T（这个设置在最终训练完之后的推理中是不需要的）
神经网络模型在预测最终的分类结果时，往往是通过softmax函数产生概率分布的，这里的T定义为温度参数，是一个超参数，qi是第i类的概率值大小

Loss 值为：