核典型关联分析（KCCA）算法原理

Kernel Canonical Correlation Analysis

1、CCA的不足

普通的线性CCA只能探索两组随机变量之间的线性关系，而在实际情况中，变量间的关系往往是非线性的，于是非线性的CCA出现了，KCCA就是一种常用的非线性CCA算法。KCCA是把核函数的思想引入CCA中，思想是把低维的数据映射到高维的特征空间（核函数空间），并通过核函数方便地在核函数空间进行关联分析。

2、算法实现

首先引入一个把数据映射到高维特征空间的的映射(从m维到n维的映射)：

$\phi: \textbf{x} = (x_1,...,x_m) \mapsto \phi(\textbf{x}) = (\phi_1(\textbf{x}),...,\phi_n(\textbf{x})) , (m<n)$

核Kernel是指一个函数K，对所有的$\textbf{x},\textbf{z}$有：

$K(\textbf{x},\textbf{z}) = \langle \phi(\textbf{x}), \phi(\textbf{z})\rangle$

设两组向量的样本矩阵为：
$X_{p\times N} = (\textbf{X}_1,...,\textbf{X}_N),Y_{q\times N} = (\textbf{Y}_1,...,\textbf{Y}_N)$

设$\phi_X,\phi_Y$分别表示作用于$X,Y$上的变换，即：
$\phi_X(\textbf{X}) = (\phi_X(\textbf{X}_1),...,\phi_X(\textbf{X}_N)),\phi_Y(\textbf{Y}) = (\phi_Y(\textbf{Y}_1),...,\phi_Y(\textbf{Y}_N))$

变换后的$\phi_X(\textbf{X})、\phi_Y(\textbf{Y})$均为n x N维矩阵。之后和线性CCA类似，我们希望找到两个n维向量$w_\textbf{X},w_\textbf{Y}$，使得$u=w_X^T\phi_X(\textbf{X})$与 $v=w_Y^T\phi_Y(\textbf{Y})$相关系数$\rho$最大。

在$X、Y$上定义核矩阵$K_X、K_Y(均为N\times N)$如下：
$K_X(i,j) = K_X(X_i,X_j) =\phi_X(\textbf{X}_i)^T\phi_X(\textbf{X}_j),K_Y(i,j) = K_Y(Y_i,Y_j) = \phi_Y(\textbf{Y}_i)^T\phi_Y(\textbf{Y}_j)$

该问题可以转化为一个优化问题：
$L(w_{X},w_{Y},\lambda_X,\lambda_Y) = \alpha^TM\alpha-\frac{\lambda_X}{2}\alpha^TL\alpha-\frac{\lambda_Y}{2}\beta^TN\beta$

其中：
$M = \frac{1}{N}K_X^TJK_Y$

$L = \frac{1}{N}K_X^TJK_X+\eta K_X$

$N = \frac{1}{N}K_Y^TJK_Y+\eta K_Y$

$J = I - \textbf{1}\textbf{1}^T$

$\textbf{1} = (1,...,1)^T$

参考《CCA在数字图像处理中的应用研究》
《canonical correlation analysis: an overview with application to learning methods》
由理论推导可得：

$w_X = \sum_{i=1}^{N}\alpha_i\phi_X(X_i),w_Y = \sum_{i=1}^{N}\beta_i\phi_Y(Y_i)$

则有：
$u = w_X^T\phi_X(X) = \sum_{i=1}^{N}\alpha_i\phi_X(X_i)^T\phi_X(X)$ (2.1)

$v = w_Y^T\phi_Y(Y) = \sum_{i=1}^{N}\beta_i\phi_Y(Y_i)^T\phi_Y(Y)$ (2.2)

具体的KCCA实现步骤如下：
（1）由样本X、Y以及核函数$K(\textbf{x},\textbf{z})$的定义计算核矩阵$K_X、K_Y$
高斯核函数为：
$K(\textbf{x},\textbf{z}) = e^{-\frac{\lvert \textbf{x}-\textbf{z}\rvert^2}{2\sigma^2}}$

（2）计算M、N、L；
（3）由以下式子计算$\alpha、\beta$:

$L^{-1}MN^{-1}M^T\alpha = \lambda^2\alpha$

$N^{-1}M^TL^{-1}M\beta = \lambda^2\beta$

（4）由2.1、2.2式计算$u,v$:

$u = \sum_{i=1}^{N}\alpha_iK_X(X_i,X)$

$v= \sum_{i=1}^{N}\beta_iK_Y(Y_i,Y)$

通过很多样本对$X,Y$可以得到很多$u,v$对，通过这些$u,v$对可以画图观察$u,v$之间的线性相关性，并计算相关系数$\rho(u,v)$,其实最后计算$u,v$可以直接利用核矩阵和$\alpha,\beta$求解。