Explaining Knowledge Distillation by Quantifying the Knowledge

首先有个概念叫 visual concept, which is defined as an image region, whose information is significantly less discarded and is mainly used by the DNN.

熵的计算公式如下，信息论中用来衡量包含的信息：

本文直接对input（这里有点没理解，直接对input image计算？）计算熵。
对于一个input，可以先找到一个满足独立高斯分布的x·，使得在某一中间层上f(x)与f(x·)非常接近：

由于独立高斯分布的特性，可以将熵分解成n个像素对应熵的求和：

对于已知的分别由灰色和白色对应的fg、bg，如下图，需要分别找出其中的视觉关注区域：

考虑到不同像素上的熵是不一样的，一个图片上的“知识点”被定义为那些信息熵比较小的像素，即其信息损失比“平均背景信息熵”明显小很多的像素点。即$H_i<H-b,H-H_i>b$时：

另外，上面图二计算的时候，是用一个16x16的grid来模拟分布，并计算熵的：