【迁移学习】STL（Stratified Transfer Learning）小结

STL（Stratified Transfer Learning）分层迁移学习：

问题描述

提出了一个CDAR的问题：源域和目标域数据具有相同的维度、相同的标记，但是P（Xs）不等于 P（Xt）同时P（Ys|Xs）不等于P（Yt|Xt）。交叉领域学习的目标是利用源域的标记和数据来获取标记Yt。
整体farmworke 分为三个部分：
Majority Voting
Intra-class Transfer
Secend annotation

Majorigty Voting:
算是STL的预处理部分。通过在源域上训练好了的分类器对目标域进行分类，来给目标域打上伪标签。起到初始分类的作用。同时在分类过程中，有一部分难以分类的（或者说某个数据在分类器输出的可能性最大的标记也太小）将其标记为难以分类的部分。
这里的分类器可以有许多种选择比如SVM、PCA等，也可以用多个分类器共同决策。

Intra-class Transfer：
STL的核心步骤，原理是在伪标签的基础上进一步挖掘类内关系，从而进行迁移学习。在伪标签的每一类中分别进行特征迁移，最终将每一个类的特征子空间合成为一个子空间。
文章利用MMD（Maximum meam discrepancy）来衡量源域和目标域的距离，通过学习来寻找MMD距离最小的子空间映射。为了增加运算效率，将源数据映射到希尔伯特空间中再进行距离计算。

同时和大多数模式识别问题一样，采用核的方法可以进一步增加计算效率，定义:

可以将上述问题定义为：

最终，利用拉格朗日方法将上述问题转化为一个普适的特征分解问题：

最终求得的矩阵W可以将两个域的数据映射到同同一个子空间中。

Secend annotation:
此步骤的目标是使用转换后的源域和候选项对剩余部分进行注释。多数投票制为候选人提供伪标签(yecan)，通过类内转移，将伪标签转换为与目标域相同的子空间。

同时，采用Secend annotation:的结果再次进行Intra-class Transfer：可以得到更好的效果。