迁移学习论文阅读：Transfer Learning via Learning to Transfer

论文地址

2018cvpr的论文，作者提出了一个L2T的框架，目的是对于一个新的任务，利用以前的经验来帮助决定如何进行迁移，从而避免之前需要尝试多种迁移方法的情况。

思想和meta-learning比较类似，都是想学习到一些高维度的抽象特征。

实验分为两个步骤：
第一步：从以往的经验中得到三个数据，源领域和目标领域对，代表迁移知识的潜在特征矩阵以及相比较不用迁移学习时模型性能提升。那么可以建立一个表示迁移知识和模型性能提升的映射关系，成为响应函数，用于决定迁移的内容和方法。
第二步：对于一个新的迁移任务，最大化响应函数。

求响应函数f：
首先将迁移经验参数化，求出每个迁移算法的变换矩阵W，响应函数f与s，t和W有关，对应函数值为模型表现提升的比例。然后从中选择一个最优的算法。最优的迁移算法利用MK-MMD求出，考虑三点，一是source和target domain的距离，也即计算MMD，二是考虑两者之间的方差，防止方差大导致两者交叠很少，三是潜在空间中目标域的判别能力，用无监督判别标准来判断。最小化f，也就是找一个最相似的源领域，得到的变换矩阵就是要求的响应函数。

对于一个新的迁移任务，最大化响应函数：
在原响应函数基础上更新来达到在新的源-目标域对上取得最大的效果。