典型相关分析（CCA）简述

---

前言

        典型相关分析（Canonical Correlation Analysis）是研究两组变量之间相关关系的一种多元统计方法，它能够揭示出两组变量之间的内在联系。
        在一元统计分析中，用相关系数来衡量两个随机变量的线性相关关系，用复相关系数研究一个随机变量与多个随机变量的线性相关关系。然而，这些方法均无法用于研究两组变量之间的相关关系，于是提出了CCA。
        其基本思想和主成分分析非常相似。首先，在每组变量中寻找出变量的线性组合，使得两组的线性组合之间具有最大的相关系数；然后选取和已经挑选出的这对线性组合不相关的另一对线性组合，并使其相关系数最大，如此下去，直到两组变量的相关性被提取完毕为止。被选出的线性组合配对称为典型变量，它们的相关系数称为典型相关系数。

一、算法原理

        设有两组随机变量X=(x1,x2,⋯,xp)′和Y=(y1,y2,⋯,yq)′，不妨设p≤q。设第一组变量均值为EX=μ1，方差为Var(X)=cov(X,X)=Σ11。第二组变量均值为EY=μ2，方差为Var(Y)=cov(Y,Y)=Σ22。第一组与第二组变量的协方差矩阵为cov(X,Y)=Σ12=Σ′21。
分别对两组变量做线性组合，得式（1）、（2），如下：

所以U,V的方差，协方差，相关系数为式（3）、（4）、（5）、（6），如下：：

其中U,V称为典型变量，它们之间的相关系数ρ称为典型相关系数。
       CCA要解决的问题是，在所有线性组合U和V中选取典型相关系数最大的那对，即选取a(1),b(1)使U1=(a(1))′X与V1=(b(1))′Y之间的相关系数最大，这里(U1,V1)称为第一对典型相关变量；然后在选取a(2),b(2)使得U1=(a(2))′X,V2(b(2))′Y，在与U1,V1不相关的情况下，使得(U2,V2)的相关系数最大，称为第二对典型相关变量；如此继续下去，直到