【AAAI 2021】基于Attention的知识蒸馏：Knowledge Distillation via Attention-based Feature Matching

论文地址：

https://arxiv.org/abs/2102.02973

代码地址：

github.com/clovaai/attention-feature-distillation

主要问题：

大多数基于特征的知识蒸馏都是手动连接教师和学生的中间特征，并通过预定义的链接传递知识，然而人工选择往往会构建出来无效的链接，从而限制知识蒸馏的性能

主要思路：

这篇文章介绍了一种高效的特征蒸馏方法，即基于注意机制进行特征链接，这种方法能够利用教师的所有特征层，而无需手动选择链接

具体来说，作者的方法利用了一个基于注意力机制的元网络，该元网络学习特征之间的相对相似性，并将已识别的相似性应用于控制所有可能的教师-学生特征对的蒸馏强度

具体实现：