基于核概念的KCCA算法

1、由CCA算法过渡至KCCA算法

典型相关分析（CCA）算法是一种标准的统计技术，用于寻找两个最大相关的随机向量的线性投影。CCA算法是一个计算两个多维变量相关性的强大方法,但如果两个变量间存在非线性相关的关系,CCA算法也许在此时会失效。为了克服CCA算法的这个弊端,KCCA算法通过引入”kernel trick”的概念改进CCA算法。

2、KCCA算法的原理与推导

传统的CCA算法的目标是找寻一对方向向量$w_x$和$w_y$ 以使得多维变量$X$、$Y$在这对方向上的投影$w_x^{T}X$和$w_y^{T}Y$之间的相关性$\rho (x,y)$最大化。

$$\rho (X,Y,w_x,w_y)=\frac{w_x^{T}X{Y}^T{w}_y^T}{\sqrt{w_x^{T}X{X}^T{w}_x^T}\sqrt{w_y^{T}Y{Y}^T{w}_y^T}}\text{\hspace{1em}(1)}$$

而当两个多维变量X、Y之间存在非线性相关性时,KCCA算法通过将变量X映射至希尔伯特空间$\Phi$(Hibert Space,详细见有关希尔伯特空间定义的讨论)。
$$\Phi :R^{n_x}\to F,x\to \Phi (x)\text{\hspace{1em}(2)}$$
此时,相关性函数变成了如下(3)式所示:

$\rho (\Phi (x),y;w_{\Phi (x)},w_y)$
$$=\frac{w_{\Phi (x)}^T\Phi (x)Y^T{w}_y^T}{\sqrt{w_{\Phi (x)}^T\Phi (x)(\Phi (x){)}^T{w}_{\Phi (x)}^T}\sqrt{w_y^{T}Y{Y}^T{w}_y^T}}\text{\hspace{1em}(3)}$$

因此,KCCA算法的目标等同于找寻$w_{\Phi (x)}$和$w_y$来在下(4)式约束中最大化$w_{\Phi }(x)\Phi (X)Y^T{w}_y$。

$$w_{\Phi (x)}^T\Phi (x)(\Phi (x){)}^T{w}_{\Phi (x)}^T=w_y^{T}Y{Y}^T{w}_y^T=1\text{\hspace{1em}(4)}$$

根据前人总结,存在方向向量${\alpha }_{\Phi (x)}$使得:
$$w_{\Phi (x)}=(\Phi (X)){\alpha }_{\Phi (x)}\text{\hspace{1em}(5)}$$

假设$k(x_i,x_j)$是一个核函数,它能够在希尔伯特空间中由下述点积式表示。

$$(k{)}_{ij}=k(x_i,x_j)=⟨\Phi (X_i),\Phi (X_j)⟩=(\Phi (X_i){)}^T\Phi (X_j)\text{\hspace{1em}(6)}$$

由此,我们得到了一个N×N的矩阵K(该矩阵也称之为Gram矩阵, Gram矩阵是两两向量的内积组成，所以Gram矩阵可以反映出该组向量中各个向量之间的某种关系,详情见格拉姆矩阵详细解读),其具体可以写为:

$$K=(\Phi (X){)}^T\Phi (X)\text{\hspace{1em}(7)}$$

结合(4)、(5)、(7)式,我们可以得到:

$$w_{\Phi (x)}\Phi (X)Y^T{w}_y={\alpha }_{\Phi (x)}^{T}K{Y}^T{w}_y\text{\hspace{1em}(8)}$$

$$w_y^{T}Y{Y}^T{w}_y^T=w_{\Phi (x)}^T\Phi (x)(\Phi (x){)}^T{w}_{\Phi (x)}={\alpha }_{\Phi (x)}^{T}KK{\alpha }_{\Phi (x)}\text{\hspace{1em}(9)}$$

至此,解决KCCA问题等同于找寻${\alpha }_{\Phi (x)}$和$w_y$在如下约束中最大化目标值，即$$\underset{{\alpha }_{\Phi (x)},w_y}{\max }{\alpha }_{\Phi (x)}^{T}K{Y}^T{w}_{y}s.t.w_y^{T}Y{Y}^T{w}_y^T={\alpha }_{\Phi (x)}^{T}KK{\alpha }_{\Phi (x)}=1$$

为了求解该问题,引入拉格朗日算子,构建拉格朗日式为:

$L({\alpha }_{\Phi (x)},w_y,\lambda ,\mu )$

$={\alpha }_{\Phi (x)}^{T}K{Y}^T{w}_y-\lambda ({\alpha }_{\Phi (x)}^{T}KK{\alpha }_{\Phi (x)}-1)/2-\mu (w_y^{T}Y{Y}^T{w}_y^T-1)$

对拉格朗日式中的${\alpha }_{\Phi (x)}$和$w_y$分别求偏导,并使得偏导式为0,由此我们可以得到:
$$\frac{\partial L}{\partial {\alpha }_{\Phi (x)}}=K{Y}^T{w}_y-\lambda KK{\alpha }_{\Phi (x)}=0\text{\hspace{1em}(10)}$$
$$\frac{\partial L}{\partial {\alpha }_{\Phi (x)}}=YK{\alpha }_{\Phi (x)}-\mu Y{Y}^T{w}_y=0\text{\hspace{1em}(11)}$$
解得
$$\mu =\lambda ,w_y=\frac{(Y{Y}^T{)}^{-1}YK}{\mu }{\alpha }_{\Phi (x)}\text{\hspace{1em}(12)}$$

由此得:
$$K{Y}^T(Y{Y}^T{)}^{-1}YK{\alpha }_{\Phi (x)}={\lambda }^{2}KK{\alpha }_{\Phi (x)}\text{\hspace{1em}(13)}$$

如果格拉姆矩阵K满秩,则(13)式两端同左乘$K^{-1}{K}^{-1}$,得:
$$K^{-1}{Y}^T(Y{Y}^T{)}^{-1}YK{\alpha }_{\Phi (x)}={\lambda }^2{\alpha }_{\Phi (x)}\text{\hspace{1em}(14)}$$

然而,在大多数情况下,由于$K$是一个中心化的格拉姆矩阵,故K通常为奇异矩阵(行列式值为0,非满秩)。为了解决这个问题,一个可行的方案是引入一个正则化矩阵$N_{K}I$重解(14)式中的特征方程,其中,$I$为一个单位矩阵,而$N_K$是一个较小的常数。
$$(K+N_{K}I{)}^{-1}{Y}^T(Y{Y}^T{)}^{-1}YK{\alpha }_{\Phi (x)}={\lambda }^2{\alpha }_{\Phi (x)}\text{\hspace{1em}(15)}$$

该方案虽然可行,但是正则化矩阵的选取会很大程度上影响KCCA算法的性能。为了进一步克服选取正则化矩阵带来影响的弊端,本文中提出了一个基于特征值分解的改进版KCCA算法。事实上,最大的特征值由下列的瑞利商(Rayleigh quotient)给出:

$${\lambda }^2=\frac{{\alpha }_{\Phi (x)}^{T}K{Y}^T(Y{Y}^T{)}^{-1}YK{\alpha }_{\Phi (x)}}{{\alpha }_{\Phi (x)}^{T}KK{\alpha }_{\Phi (x)}}\text{\hspace{1em}(16)}$$

令$W=Y^T(Y{Y}^T{)}^{-1}Y$,则(16)式可被写为:

$${\lambda }^2=\frac{{\alpha }_{\Phi (x)}^{T}KWK{\alpha }_{\Phi (x)}}{{\alpha }_{\Phi (x)}^{T}KK{\alpha }_{\Phi (x)}}\text{\hspace{1em}(17)}$$

因此,解决KCCA等同于找寻${\alpha }_{\Phi (x)}$最大化(17)式中的瑞利商,这也等同于求解广义判别分析(generalized discriminant analysis,GDA)中的最优值问题。

参考资料与文献:

1. 有关希尔伯特空间定义的讨论——知乎
2. 格拉姆矩阵详细解读——CSDN博客
3. Wenming Zheng, Xiaoyan Zhou, Cairong Zou and Li Zhao, “Facial expression recognition using kernel canonical correlation analysis (KCCA),” in IEEE Transactions on Neural Networks, vol. 17, no. 1, pp. 233-238, Jan. 2006, doi: 10.1109/TNN.2005.860849.