联合分布适配（JDA）

Long M, Wang J, Ding G, et al. Transfer feature learning with joint distribution adaptation[C]//Proceedings of the IEEE International Conference on Computer Vision. 2013: 2200-2207.
zhuanlan.zhihu.com/p/27336930

问题描述

先看迁移成分分析（TCA）对问题的描述(https://blog.csdn.net/weixin_44390521/article/details/104336224)：
在已知道源数据的输入$X_S$和输出$Y_S$以及目标数据的输入$X_T$的情况下，预测$X_T$对应的输出$Y_T$，并且假设源数据和目标数据的边缘分布有很多差异，即$P(X_S)\ne Q(X_T)$，但是条件分布一致，即$P(Y_S|X_S)=Q(Y_T|X_T)$。
而在联合分布自适应(JDA)中，条件分布是可以不一致的，即在源数据和目标数据的边缘分布和条件分布差异都很大的情况下，预测目标数据的输出$Y_T$，JDA原文中如此表述其要解决的问题：
（1） 对域的定义（Domain）:域$D$由一个m为空间$X$和一个边缘分布$Px)$组成，即 D = { X , P ( x ) , x ∈ X } D=\lbrace {X,P(x)},x \in X \rbrace D={X,P(x),x∈X}。
(2） 任务的定义 （Task）：给定域$D$，任务$T$由标签集合$Y$和分类器$f(x)$组成，即 T = { Y , f ( x ) } T=\lbrace {Y,f(x)}\rbrace T={Y,f(x)}。
（3） 问题：已知带标签的源数据 D S = { ( x 1 , y 1 ) ， ⋅ ⋅ ⋅ ， ( x n s , y n s ) } D_S=\lbrace(x_1,y_1)，···，(x_{n_s},y_{n_s})\rbrace DS​={(x1​,y1​)，⋅⋅⋅，(xns​​,yns​​)}和不带标签的目标域 D T = { x n s + 1 ， ⋅ ⋅ ⋅ ， x n s + n t } D_T=\lbrace x_{n_s+1}，···，x_{n_s+n_t} \rbrace DT​={xns​+1​，⋅⋅⋅，xns​+nt​​}，假设$X_S=X_T，Y_S=Y_T，P(X_S)\ne P(X_T)，Q(Y_S|X_S)\ne Q(Y_T|Y_S)$，希望能够学习到一种特征表示，能够显著减少源域和目标域的边缘分布和条件分布差异。

优化目标

JDA希望最小化输入经过$T$变换后和标签的联合期望：
$$mi{n}_T||E_{p(x_s,y_s)}(T(x_s),y_s)-E_{p(x_t,y_t)}(T(x_t),y_t)||\approx ||E_{p_s}(x_s)-E_{p_t}(x_t)||+||E_{Q(y_s|x_s)}(y_s|T(x_s)-E_{Q(y_t|x_t)}(y_t|x_t)||$$
这个问题是无解的，因为并不知道目标域的标签，JDA使用伪标签的策略，使用源数据训练的分类器预测目标源的标签，即假设$Q(Y_S|X_S)\approx Q(Y_T|X_T)$。显然伪标签是不够准确的，因此优化结果也是不准确的，JDA采样反复迭代的方法，逐渐提高伪标签的正确率。

特征变换

主成分分析(PCA)通过降维的方法学习变换特征表示，设 X = { x 1 , x 2 , ⋅ ⋅ ⋅ ， x n } ∈ R m × n ， n = n s + n t X=\lbrace x_1,x_2,···，x_n\rbrace \in R^{m\times n}，n = n_s+n_t X={x1​,x2​,⋅⋅⋅，xn​}∈Rm×n，n=ns​+nt​，$H=I-\frac{1}{n}1，1\in R^{n\times n}$是中心矩阵，$XH{X}^T$是协方差矩阵，PCA的目标是找到一个正交变换矩阵使得：
$$ma{x}_{A^{T}A=I}tr(A^{T}XH{X}^{T}A)(1)$$
这个优化问题可以通过奇异值分解$XH{X}^{T}A\varphi =A\varphi$求解，$\varphi =diag({\varphi }_1,{\varphi }_2,\cdot \cdot \cdot ，{\varphi }_k)\in R^{k\times k}$，是k个最大的特征值最后找到最优的k为特征表示$Z=A^{T}X$

边缘分布适配

PCA等降维方法可以学习输入变换的特征表示，但是这样的特征表示是在不同域进行的，学习到的是不同域独立的特征表示。JDA中采样TCA的方法，通过优化两个分布的MMD距离，最小化边缘分布的期望差异：
$$||\frac{1}{n_s}\sum _{i=1}^{n_s}{A}^T{x}^i-\frac{1}{n_s+nt}\sum _{j=1}^{n_t+n_s}{A}^T{x}^j|{|}^2=tr(A^{T}X{M}_{0}XA)(2)$$
$A$是变换矩阵
$M_0$，是MMD矩阵,$M_0=\{\begin{array}{ll}\frac{1}{n_s{n}_s},& {\text{x}}_i,x_j\in D_s\\ \frac{1}{n_t{n}_t}，& \text{x}i,x_j\in D_T\\ -\frac{1}{n_s{n}_t}，& \text{o}thers\end{array}(3)$
通过使用JCA学习特征变换矩阵$A$，得到新的特征表示$Z=A^{T}X$

条件分布适配

条件分布适配就是要最小化$Q(Y_S|X_S)$和$Q(Y_T|X_T)$的距离，前面已经说到可以是源数据训练一个分类器，比如支持向量机，预测目标域的标签，称之为伪标签。但是有存在另一个问题是条件分布很难计算，但是类条件概率$Q(X_S|Y_S=c)$和 Q ( X T ∣ Y T = c ) , c ∈ { 1 , 2 ⋅ ⋅ ⋅ ， n } Q(X_T|Y_T=c),c\in \lbrace 1,2···，n \rbrace Q(XT​∣YT​=c),c∈{1,2⋅⋅⋅，n}是很容易统计的，如果两个分布的类条件概率的差异很小时，那么条件分布的差异也应该很小的，因此最小化类条件概率和最小化条件概率是相当一致的。JDA中依然使用MMD距离衡量两个分布的差异：
$$||\frac{1}{n_s^c}\sum _{x_i\in D_s^c}{A}^T{x}^i-\frac{1}{n_s^c+n_t^c}\sum _{x_j\in D_t^c}{A}^T{x}^j|{|}^2=tr(A^{T}X{M}_{c}XA)(4)$$
$$M=\{\begin{array}{ll}\frac{1}{n_s^c},& {\text{x}}_i,x_j\in D_S\\ \frac{1}{n_t^c}，& {\text{x}}_i,x_j\in D_T\\ -\frac{1}{n_s{n}_c},\{\begin{array}{l}{x}_i\in D_S,x_j\in D_T\\ xi\in D_T,x_j\in D_S\end{array}& \\ 0,& \text{o}thers\end{array}(5)$$

优化问题

把边缘分布和所有类条件分布的MMD距离加起来，就是要优化的问题：
$$ma{x}_{A^{T}XH{X}^{T}A=I}\sum _{i=0}^{C}tr(A^{T}X{M}_C{X}^{T}A)+\lambda ||A|{|}^2(6)$$
后一项是正则化项。
设$\varphi =diag({\varphi }_1,\cdot \cdot \cdot ，{\varphi }_k)$是拉格朗日乘子，上述优化问题的拉格朗日函数为：
$$L=tr(A^T(X\sum _{c=0}^C{M}_c{X}^T+\lambda I)A)+tr((I-A^{T}XHXTA)\varphi )$$
令$\frac{\alpha L}{\alpha x}=0$，得
$$(X\sum _{c=0}^C{M}_c{X}^T+\lambda I)A=XH{X}^{T}A\varphi$$，变换矩阵$A$就是前k个最小的特征值对应的特征向量。
另$Z=A^{T}X$，$Z$就是新的特征，可以理解为提取了源域和目标域的公共特征，这样源域的分类器就可以作为目标域的分类器。但是目标域用的标签是伪标签，因此需要重复上述过程，直至收敛。