如果想成为中心，那么就到中心去吧。

知识转移（Knowledge Transfer， KT）技术解决了将知识从一个大型而复杂的神经网络转移到一个更小而更快的神经网络的问题。然而，现有的KT方法是针对分类任务量身定制的，它们不能有效地用于其他表示学习任务。本文提出了一种新的概率知识转移方法，该方法是匹配数据在特征空间中的概率分布，而不是它们的实际表示。除了优于现有KT技术，提出的方法允许克服的局限性提供新的见解KT以及小说KT应用程序，从KT从手工制作的特性提取器跨模式KT从文本模式到表示从视觉模式中提取的数据。

在深度学习中, 如何利用大量、易获取的无标注数据增强神经网络模型的特征表达能力, 是一个具有重要意义的研究问题, 而对比学习是解决该问题的有效方法之一, 近年来得到了学术界的广泛关注, 涌现出一大批新的研究方法和成果. 本文综合考察对比学习近年的发展和进步, 提出一种新的面向对比学习的归类方法, 该方法将现有对比学习方法归纳为5类, 包括: 1) 样本对构造;2) 图像增广;3) 网络架构;4) 损失函数;

这个框架中有两个网络。一个名为在线模型，另一个名为目标模型。在线模型由 θ 参数化，目标模型由 ξ 参数化。目标模型通过计算θ的指数移动平均值 (EMA)来更新其参数 ξ。在线模型通过学习目标模型的参数 ξ 来更新其参数 θ。

无监督模型预训练

自监督学习