典型相关性学习

典型相关性分析(Canonical Correlation Analysis，CCA)的核心思想是：寻找两个变量场$X$,$Y$对应的两组基向量$W_x$,$W_Y$，使得$X$,$Y$在$W_x$,$W_Y$上投影后的结果最大程度地保持$X$,$Y$之间的相关性一致.

来源

假设有一组变量$X_1,X_2,\ldots,X_p$，与另一组变量$Y_1,Y_2,\ldots,Y_q,$，我们研究如何给两组变量之间的相关性以数量的描述

当$p=q=1$是，就是研究两个变量$X$与$Y$之间的相关关系，直觉就是使用相关系数衡量，即

$$\rho_{XY}={{Cov{(X,Y)}\over{\sqrt{Var(X)}\sqrt{Var(Y)}}}}$$

当$p\ge1$，$q=1$(或者$q\ge1$，$p=1$)，设

$$\begin{bmatrix} X \\ Y\\ \end{bmatrix}\sim N_{p+1}(\mu,\sum)$$ ， $$\sum=\begin{bmatrix} \sum_{XX} & \sum_{XY}\\ \sum_{YX} & \sum_{YY}\\ \end{bmatrix}$$ ，则称
$$R=\sqrt{{{\sum_{YX}\sum_{XX}^{-1}\sum_{XY}}\over{\sigma{YY}}}}$$
为 $Y$与$X_1,X_2,\ldots,X_p$的全相关系数，用于度量一个随机变量 $Y$与一组随机变量$X_1,X_2,\ldots,X_p$的相关关系.

当$p,q\gt1$时，利用主成分分析的士翔，可以把多个变量与多个变量之间的相关化为两个新的综合变量之间的相关，也就是求$a=(a_1,\ldots,a_p)^`$和$\beta=(\beta_1,\ldots,\beta_q)$，使得新的综合变量

$$V=a_1X_1+\ldots+a_pX_p=a^`X\\ W=\beta_1Y_1+\ldots+\beta_pY_p=\beta^`Y$$
之间有最大可能的相关，基于这个思想就产生了典型相关分析.

典型相关定义

Source From：《应用多元统计》，高惠璇

本作品采用知识共享署名-相同方式共享 4.0 国际许可协议进行许可