文章目录
前言
典型相关分析(Canonical Correlation Analysis)是研究两组变量之间相关关系的一种多元统计方法,它能够揭示出两组变量之间的内在联系。
在一元统计分析中,用相关系数来衡量两个随机变量的线性相关关系,用复相关系数研究一个随机变量与多个随机变量的线性相关关系。然而,这些方法均无法用于研究两组变量之间的相关关系,于是提出了CCA。
其基本思想和主成分分析非常相似。首先,在每组变量中寻找出变量的线性组合,使得两组的线性组合之间具有最大的相关系数;然后选取和已经挑选出的这对线性组合不相关的另一对线性组合,并使其相关系数最大,如此下去,直到两组变量的相关性被提取完毕为止。被选出的线性组合配对称为典型变量,它们的相关系数称为典型相关系数。
一、算法原理
设有两组随机变量X=(x1,x2,⋯,xp)′和Y=(y1,y2,⋯,yq)′,不妨设p≤q。设第一组变量均值为EX=μ1,方差为Var(X)=cov(X,X)=Σ11。第二组变量均值为EY=μ2,方差为Var(Y)=cov(Y,Y)=Σ22。第一组与第二组变量的协方差矩阵为cov(X,Y)=Σ12=Σ′21。
分别对两组变量做线性组合,得式(1)、(2),如下:
所以U,V的方差,协方差,相关系数为式(3)、(4)、(5)、(6),如下::
其中U,V称为典型变量,它们之间的相关系数ρ称为典型相关系数。
CCA要解决的问题是,在所有线性组合U和V中选取典型相关系数最大的那对,即选取a(1),b(1)使U1=(a(1))′X与V1=(b(1))′Y之间的相关系数最大,这里(U1,V1)称为第一对典型相关变量;然后在选取a(2),b(2)使得U1=(a(2))′X,V2(b(2))′Y,在与U1,V