knowledge distillation 综述

直接上论文survey：https://arxiv.org/pdf/2006.05525v6.pdf

开局提到有数种模型加速的方法：

1、权重共享和剪枝

2、低秩分解

3、转移的紧凑卷积滤波器：这些方法通过转移去除无关紧要的参数或压缩卷积滤波器

4、KD

 然后摘要里面说明kd的key problem是如何将teacher模型里面的knowledge transfer到student模型，一个kd系统包括三个部分，knowledge、蒸馏算法，teacher模型。入下图所示：

接下来文章回顾了kd的历史，从kd的进展、应用方向、包括模型结构kd和大小数据及kd，啥玩意都有，这里就不说了，接下来直接讲重点。

    本篇survey的主要目的：1、提供知识概述，包括几个典型知识、蒸馏和架构； 2、回顾最近的kd进展，包括算法和不同的具体应用场景；3、解决一些问题并提供kd的一些见解，包括不同类型的知识、训练方案、蒸馏算法和结构。

本文的目录结构，如下图所示：

 虽然里面的论文有点过时了，但是分类方法还是值得参考的。

我们讨论不同形式的以下类别的知识： 基于Logits(Response)-based、Feature-based和Relation-based knowledge的kd方法，三种关系如下图所示：

    如上图所示，Logits(Re