【样本间关系知识蒸馏】CVPR 2019：Correlation Congruence for Knowledge Distillation

论文地址：

https://arxiv.org/abs/1904.05068

代码地址：

https://github.com/lenscloth/RKD/

主要问题：

存在两个主要问题：

1. 什么是学习模型中的知识？
2. 如何将知识转移到另一个模型中？

主要思路：

考虑主要信息在于数据嵌入空间的结构上，这篇文章引入了一种新的方法，称为关系知识蒸馏（RKD），它转移数据示例的相互关系，即使用距离（二阶）和角度（三阶）的蒸馏损失来惩罚关系中的结构差异

具体实现：

基本符号：

假设教师模型和学生模型的映射函数分别是