【AAAI 2021】跨任务知识蒸馏：Robust Knowledge Transfer via Hybrid Forward on the Teacher-Student Mode

论文地址：

https://cse.buffalo.edu/~jsyuan/papers/2021/aaai21_song.pdf

主要问题：

当用深度学习模型做新的视觉任务时，一种常见的做法是从预训练模型开始微调，但是新任务可能需要使用新的域数据（比如ImageNet到自定义数据集）训练不同的网络体系结构（比如大型模型到轻量级模型）甚至是不同的目标（比如图像分类到语义分割），因此利用并不容易找到一个好的预训练模型，而且通常需要相当多的尝试和错误和参数调整

主要思路：

这篇文章的目标是简化将知识从教师模型转移到学生网络模型的过程，并能能够对他们不同的网络结构、域数据和任务定义之间的差距保持较高的鲁棒性

具体地说就是，作者提出了一种训练师生模型的混合正向传播方案，即整合了师生网络，并在新的任务上训练了组合网络，训练时正向传递通过一个网络的一个层子网络和另一个网络的其他一些层交替处理数据样