知识蒸馏中的知识

https://www.cnblogs.com/jins-note/p/9679450.html

 

1. T参数是什么？有什么作用？

        T参数为了对应蒸馏的概念，在论文中叫的是Temperature，也就是蒸馏的温度。T越高对应的分布概率越平缓，为什么要使得分布概率变平缓？举一个例子，假设你是每次都是进行负重登山，虽然过程很辛苦，但是当有一天你取下负重，正常的登山的时候，你就会变得非常轻松，可以比别人登得高登得远。

        同样的，在这篇文章里面的T就是这个负重包，我们知道对于一个复杂网络来说往往能够得到很好的分类效果，错误的概率比正确的概率会小很多很多，但是对于一个小网络来说它是无法学成这个效果的。我们为了去帮助小网络进行学习，就在小网络的softmax加一个T参数，加上这个T参数以后错误分类再经过softmax以后输出会变大（softmax中指数函数的单增特性，这里不做具体解释），同样的正确分类会变小。这就人为的加大了训练的难度，一旦将T重新设置为1，分类结果会非常的接近于大网络的分类效果。

  2. soft target（“软目标”）是什么？

        soft就是对应的带有T的目标，是要尽量的接近于大网络加入T后的分布概率。

  3. hard target（“硬目标”）是什么？

         hard就是正常网络训练的目标，是要尽量的完成正确的分类。

  4. 两个目标函数究竟是什么？

        两个目标函数也就是对应的上面的soft target和hard target。这个体现在Student Network会有两个loss，分别对应上面两个问题求得的交叉熵，作为小网络训练的loss function。

  5. 具体蒸馏是如何训练的？

　　Teacher：  对softmax（T=20）的输出与原始label求loss。

　　Student： （1）对softmax（T=20）的输出与Teacher的softmax（T=20）的输出求loss1。

　　　　　　　（2）对softmax（T=1）的输出与原始label求loss2。

　　　　　　　（3）loss = loss1+loss2