【WACV 2021】在知识蒸馏中利用噪声信息：Noise as a Resource for Learning in Knowledge Distillation

论文地址：

https://arxiv.org/abs/1910.05057

主要问题：

虽然噪声在计算系统中通常被认为是一个麻烦，但神经科学的一些研究表明，神经系统中噪声仍存在一些有用的信息，使得大脑能够执行概率推理等计算，以及携带关于刺激的额外信息

同样地，噪声也已被证明可以提高深度神经网络的性能

主要思路：

这篇论文中作者进一步研究了在知识蒸馏框架中添加噪声的影响，因为它与大脑区域的协作子网络相似，并且作者发现在协作学习框架中注入不同层次的建设性噪声，使我们能够有效地训练模型，并在学生模型中提炼出理想的特征

作者主要提出了三种方法：最小化紧凑模型和大模型（Fickle Teacher）之间的性能差距，训练高性能紧凑的反向鲁棒模型（Soft Randomization），以及在标签噪声下有效地训练模型（Messy Collaboration）

具体实现：

Fic