TCA（迁移成分分析）

TCA原版文章：S. J. Pan, I. W. Tsang, J. T. Kwok and Q. Yang, “Domain Adaptation via Transfer Component Analysis,” in IEEE Transactions on Neural Networks, vol. 22, no. 2, pp. 199-210, Feb. 2011.doi: 10.1109/TNN.2010.2091281
https://zhuanlan.zhihu.com/p/26764147

问题描述

源域(src)数据：源域数据 $D_s=(x_{S_1},y_{S_1})，\cdot \cdot \cdot ，(x_{S_{n_1}},y_{S_{n_2}})$，其中$x_S$是输入，$y_S$是输出
目标域数据：$D_T=x_{T_1},\cdot \cdot \cdot ，x_{T_{n_2}}$
目标：正确预测目标域数据的标签
假设$P(X_S)、Q(X_T)$分别是源域和目标域的边缘分布，一般来说，使用$P\ne Q$，但是条件分布$P(Y_S|X_S)=Q(Y_T|X_T)$

最大均值差异（MMD）:

设$X=x_1,x_2,\cdot \cdot \cdot ，x_{n_1}$和$Y=y_1,y_2,\cdot \cdot \cdot ，y_{n_2}$是分布服从分布$P$和$Q$的随机变量，使用MMD距离估计两个分布的距离：
$$Dist(P,Q)=||\frac{1}{n_1}\sum _{i=1}^{n_1}\varphi (x_i)-\frac{1}{n_1}\sum _{j=1}^{n_2}\varphi (x_j)|{|}_H$$
其中$H$是再生核希尔伯特空间，$\varphi$是$X\to H$的映射。

迁移成分分析（TCA）

TCA的目标是在已知道源数据的输入$X_S$和输出$Y_S$以及目标数据的输入$X_T$时，预测目标数据的输出$Y_T$，
TCA假设源数据和目标数据的边缘分布有很大的差异，但是条件分布$P(Y_S|X_S)=Q(Y_T|X_T)$
TCA试图找到一种非线性映射$\varphi$:$X\to H$，使得源数据和目标数据经过非线性变换后（$X_S\to X_S^{{}^{\prime }}$，$X_T\to X_T^{{}^{\prime }}$），其边缘分布相同（$P(X_S^{{}^{\prime }})=Q(X_T^{{}^{\prime }})$），即TCA的目标是找到一个合适的映射，是经映射后的两个分布MMD距离最小：
$$minDist(X_S^{{}^{\prime }},X_T^{{}^{\prime }})=||\frac{1}{n_1}\sum _{i=1}^{n_1}\varphi (x_i)-\frac{1}{n_1}\sum _{j=1}^{n_2}\varphi (x_j)|{|}_H$$

TCA目标优化

1. 将MMD距离转换为矩阵形式（推导：https://zhuanlan.zhihu.com/p/26764147）:
   $$Dist(X_S^{{}^{\prime }},X_T^{{}^{\prime }})=tr(KL)(1)$$，
   其中$K是(n_1+n_2)\times (n_1+n_2)$的核矩阵，$K=\left[\begin{array}{cc}{K}_{SS}& K_{TS}\\ K_{ST}& K_{TT}\end{array}\right]$，
   $$L=\{\begin{array}{ll}\frac{1}{n_1},& {\text{x}}_i,x_j\in D_S\\ \frac{1}{n_2},& {\text{x}}_i,x_j\in D_T\\ -\frac{1}{n_1\times n_2},& \text{o}thers\end{array}$$
2. 将核矩阵$K$进行分解：
   $$K=(K{K}^{-\frac{1}{2}})(K^{-\frac{1}{2}}K)$$，
   使用一个$m\times (n_1+n_2)$的矩阵$\tilde{W}$将特征矩阵映射的m维空间：
   $$\tilde{K}=(K{K}^{-\frac{1}{2}}\tilde{W})({\tilde{W}}^T{K}^{-\frac{1}{2}}K)=KW{W}^{T}K$$
   其中$W=K^{-\frac{1}{2}}\tilde{W}$
   使用定义$\tilde{K}$将两个域的MMD距离转换为：
   $$Dist(X_S^{{}^{\prime }},X_T^{{}^{\prime }})=tr(\tilde{K}L)=tr((KW{W}^{T}K)L)=tr(W^{T}KLKW)(2)$$
   3.提取迁移成分
   根据（2）式，核学习问题转变成：
   $$mi{n}_{W}tr(W^{T}W)+\mu tr(W^{T}KLKW)$$
   $$s.t.W^{T}KHKW=I(3)$$
   其中$tr(W^{T}W)$是正则化项，控制$W$的复杂度，$\mu$是折中系数
   $I\in R^{m\times m}$，为单位矩阵
   $H=I_{n_1+n_2}-\frac{1}{n_1+n_2}11^T$，是中心矩阵，$1$是全为1的列向量，$W^{T}KHKW=I$避免$W$的平方解。
   优化问题（3）可以转化为：
   $$mi{n}_{W}tr((W^{T}KLKW{)}^{-1}{W}^T(I+\mu KLK)W)(4)$$
   或
   $$ma{x}_{W}tr((W^T+\mu (KLK)W{)}^{-1}{W}^{T}KHKW)(5)$$
   证明：
   （3）式转化为拉格朗日对偶形式：
   $$tr(W^T(I+\mu KLK)W)-tr((W^{T}KHKW-I)Z)(6)$$
   其中$Z$为对称矩阵，
   对（4）式求导等0，可得：
   $$(I+\mu KLK)W=KHKWZ$$，
   左右两端乘上$W^T$，可得(4)式，由于$(I+\mu KLK)W$是非奇异矩阵，故可得到其等价式（5）。
   根据核函数Fisher鉴别（KFD），W的解是$(I+\mu KLK{)}^{-1}KHK$的前m个特征值。