模型蒸馏1

两种蒸馏形式：模型蒸馏 （模型压缩，模型不同，特征相同）

优势特征蒸馏（大模型使用全量特征，适用于模型相同，特征不同）

俩种训练方式：

pre-train是预先训练teacher网络，然后再训练student网络；

co-train则是通过上述介绍的损失对teacher网络和student网络进行联合训练，co-train方式往往训练速度更快，但所需的GPU资源也会更多。

• teacher - 原始模型或模型ensemble
• student - 新模型
• transfer set - 用来迁移teacher知识、训练student的数据集合
• soft target - teacher输出的预测结果（一般是softmax之后的概率）
• hard target - 样本原本的标签
• born-again network - 蒸馏的一种，指student和teacher的结构和尺寸完全一样
• teacher annealing - 防止student的表现被teacher限制，在蒸馏时逐渐减少soft targets的权重
• temperature - 蒸馏目标函数中的超参数

蒸馏时的softmax

比之前的softmax多了一个参数T（temperature），T越大产生的概率分布越平滑 

两种蒸馏的目标函数：

1：只使用soft targets：在蒸馏时teacher使用新的softmax产生soft targets；student使用新的softmax在transfer set上学习，和teacher使用相同的T

2：student的目标函数是hard target和soft target目标函数的加权平均，使用hard target时T=1，soft target时T和teacher的一样。

T越大越能学到teacher模型的泛化信息。

T可以尝试1～20之间

在蒸馏时，我们要让student模型学习到teacher模型的概率输出，如果还保持之前的概率分布，那么会让大部分的概率信息无法被学习。因此，通常在对Logits进行概率化之前，要先对Logits除以一个temperature，让不同类别的概率差异稍微变小一点（如果老师模型输出的概率差距过大，则学生模型学不到啥，所以需要温度参数调节使得老师模型的概率输出平滑一些）

传统训练方式：认为每个样本的负标签都一样，统一对待，而蒸馏方式使得每个样本给Student模型带来的信息量（分布概率越平缓，熵值越大）大于传统模型

温度参数的大小：决定学生模型训练过程中对负标签的关注程度，T越大，概率分布越平滑，熵越大，对负标签关注越大。

蒸馏过程中，先让T变大，测试阶段回复为1

由于Lsoft贡献的梯度是Lhard的1/T2，所以Lsoft的权重要乘以T2

p是学生输出概率，q是老师输出概率，y是样本标签

蒸馏这个概念之所以work，核心思想是因为好模型的目标不是拟合训练数据，而是学习如何泛化到新的数据。（）