典型相关分析 CCA

        现象与现象直接的依存关系，从数据联系上看，可以分为两种不同的类型，即函数关系和相关关系。
        函数关系是从数量上反映现象间的严格的依存关系，即与一个或几个变量取一定的值时，另一个变量有确定值与之相对应。相关关系是现象间不严格的依存关系，即各变量之间不存在确定性的关系。在相关关系中，当一个或几个相互联系的变量取一定数值时，与之相对应的另一变量值也发生相应变化，但其关系值不是固定的，往往按照某种规律在一定的范围内变化。

        函数关系是指事物或现象之间存在着严格的依存关系，其主要特征是它的确定性，即对一个变量的每一个值，另一个变量都具有唯一确定的值与之相对应。相关关系反映出变量之间虽然相互影响，具有依存关系，但彼此之间是不能一一对应的。

        如果两个变量间的相关程度不高，拟合回归方程便没有意义，因此相关分析往往在回归分析前进行。

---

1 基本介绍

        典型相关分析（Canonical Correlation Analysis，以下简称CCA）是研究两组变量之间相关关系的一种多元统计方法。它能够揭示出两组变量之间的内在联系，是最常用的挖掘数据关联关系的算法之一。

        在一元统计分析中，用相关系数来衡量两个随机变量之间的线性相关关系；用复相关系数研究一个随机变量和多个随机变量的线性相关关系。然而，这些统计方法在研究两组变量之间的相关关系时却无能为力。

        在线性回归中，我们使用直线来拟合样本点，寻找 $n$ 维特征向量 $X\text{X}X$ 和输出结果（或者叫做label）$Y$ 之间的线性关系，其中 $X\text{X}X\in {\mathbb{R}}^n,Y\in \mathbb{R}$。然而当 $Y$ 也是多维时，或者说 $Y$ 也有多个特征时，我们希望分析出 $X\text{X}X$ 和 $Y\text{Y}Y$ 的关系。
        当然我们仍然可以使用回归的方法来分析，做法如下：
        假设 $X\text{X}X\in {\mathbb{R}}^n,Y\in {\mathbb{R}}^m$，那么可以建立等式 $Y\text{Y}Y=WX\text{WX}WX$，如下

$$\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]=\left[\begin{array}{cccc}{w}_{11}& w_{12}& \cdots & w_{1n}\\ w_{21}& w_{22}& \cdots & w_{2n}\\ ⋮& ⋮& ⋮& ⋮\\ w_{m1}& w_{m2}& \cdots & w_{mn}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]\text{\hspace{1em}(1-1)}$$

        其中 $y_i={w\text{w}w}_i^{T}x\text{x}x$，形式和线性回归一样，需要训练 $m$ 次得到 $m$ 个 ${w\text{w}w}_i$。

        这样做的一个缺点是，$Y\text{Y}Y$ 中的每个特征都与 $X\text{X}X$ 的所有特征关联，$Y\text{Y}Y$ 中的特征之间没有什么联系。

        我们想换一种思路来看这个问题，如果将 $X\text{X}X$ 和 $Y\text{Y}Y$ 都看成整体，考察这两个整体之间的关系。我们将整体表示成 $Y\text{Y}Y$ 和 $Y\text{Y}Y$ 各自特征间的线性组合，也就是考察 ${a\text{a}a}^{T}x\text{x}x$ 和 ${b\text{b}b}^{T}y\text{y}y$ 之间的关系。

        在数理统计里面，我们都知道相关系数这个概念。假设有两个随机变量 $X$和$Y$，则相关系数 $\rho$ 的定义为:
$$\rho (X,Y)=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=\frac{E[(X-{\mu }_X)(Y-{\mu }_Y)]}{\sqrt{D(X)}\sqrt{D(Y)}}\text{\hspace{1em}(1-2)}$$
        其中 $Cov(X,Y)$ 是 $X$ 和 $Y$ 的协方差，而 ${\mu }_X$、${\mu }_Y$分别是 $X$ 和 $Y$ 的均值，$D(X)$、$D(Y)$ 分别是 $X$ 和 $Y$ 的方差。
        相关系数 $\rho$ 的取值为 $[-1,1]$,　$\rho$ 的绝对值越接近于1，则 $X$ 和 $Y$ 的线性相关性越高；越接近于0，则 $X$ 和 $Y$ 的线性相关性越低。

        典型相关分析的目的是识别并量化两组变量之间的联系，将两组变量相关关系的分析，转化为一组变量的线性组合与另一组变量线性组合之间的相关关系分析。

---

2 CCA 表示与求解

        假设我们的数据集是 $X$ 和 $Y$， $X\text{X}X$ 为 $N\times p$ 的样本矩阵和 $Y\text{Y}Y$ 为 $N\times q$ 的样本矩阵。其中 $N$ 为样本个数，而 $p、q$ 分别为 $X$ 和 $Y$ 的特征维度。此时，数据集为：
D a t a ： { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } x i ∈ R p , y i ∈ R q , i = 1 , 2 , ⋯   , N (2-1) Data：\{(\pmb{x}_1, \pmb{y}_1), (\pmb{x}_2, \pmb{y}_2), \cdots, (\pmb{x}_N, \pmb{y}_N)\} \quad \pmb{x}_{i}\in \mathbb{R}^{p},\pmb{y}_{i}\in \mathbb{R}^q,i=1,2,\cdots ,N \tag{2-1} Data：{(xxx1​,y​y​​y1​),(xxx2​,y​y​​y2​),⋯,(xxxN​,y​y​​yN​)}xxxi​∈Rp,y​y​​yi​∈Rq,i=1,2,⋯,N(2-1)
        分别用矩阵表示：
$$X\text{X}X=[{x\text{x}x}_1,{x\text{x}x}_2,\cdots ,{x\text{x}x}_N{]}_{p\times N}={\left[\begin{array}{cccc}{x}_{11}& x_{21}& \cdots & x_{N1}\\ x_{12}& x_{22}& \cdots & x_{N2}\\ ⋮& ⋮& ⋮& ⋮\\ x_{1p}& x_{2p}& \cdots & x_{Np}\end{array}\right]}_{p\times N}\text{\hspace{1em}(2-2)}$$

$$Y\text{Y}Y=[{y\text{y}y}_1,{y\text{y}y}_2,\cdots ,{y\text{y}y}_N{]}_{q\times N}={\left[\begin{array}{cccc}{y}_{11}& y_{21}& \cdots & y_{N1}\\ y_{12}& y_{22}& \cdots & y_{N2}\\ ⋮& ⋮& ⋮& ⋮\\ y_{1q}& y_{2q}& \cdots & y_{Nq}\end{array}\right]}_{q\times N}\text{\hspace{1em}(2-3)}$$

        上面数据矩阵的解释：数据 $X\text{X}X$ 中有 $N$ 个样本，每个样本 ${x\text{x}x}_i$ 为 $p$ 维数据（含有 $p$ 个feature），数据 $Y\text{Y}Y$ 同样也有 $N$ 个样本，每个样本 ${y\text{y}y}_i$ 为 $q$ 维数据（含有 $q$ 个feature）。

        对于 $X\text{X}X$ 矩阵，我们将其投影到1维，或者说进行线性表示，对应的投影向量或者说线性系数向量为 ${a\text{a}a}_i\in {\mathbb{R}}^p$, 对于 $Y\text{Y}Y$ 矩阵，我们将其投影到1维，或者说进行线性表示，对应的投影向量或者说线性系数向量为 ${b\text{b}b}_i\in {\mathbb{R}}^q$, 这样 $X\text{X}X,Y\text{Y}Y$ 投影后得到的一维向量分别为 ${U\text{U}U}_i,{V\text{V}V}_i$（ i = 1 , ⋯   , m i n { p , q } i=1, \cdots, min\{p, q\} i=1,⋯,min{p,q}）。我们有
$${U\text{U}U}_i={a\text{a}a}_i^{T}X\text{X}X,{V\text{V}V}_i={b\text{b}b}_i^{T}Y\text{Y}Y\text{\hspace{1em}(2-4)}$$

        形式化表示如下：
$$Z\text{Z}Z=\left[\begin{array}{c}X\text{X}X\\ Y\text{Y}Y\end{array}\right]E[Z\text{Z}Z]=\left[\begin{array}{c}{\mu \text{μ}\mu }_X\\ {\mu \text{μ}\mu }_Y\end{array}\right]\Sigma \text{Σ}\Sigma =D[Z\text{Z}Z]=\left[\begin{array}{cc}{\Sigma \text{Σ}\Sigma }_{11}& {\Sigma \text{Σ}\Sigma }_{12}\\ {\Sigma \text{Σ}\Sigma }_{21}& {\Sigma \text{Σ}\Sigma }_{22}\end{array}\right]\text{\hspace{1em}(2-5)}$$

        $\Sigma \text{Σ}\Sigma$ 是 $Z\text{Z}Z$ 的协方差矩阵；左上角是 $X\text{X}X$ 自己的协方差矩阵；右上角是 $Cov(X\text{X}X,Y\text{Y}Y)$；左下角是 $Cov(Y\text{Y}Y,X\text{X}X)$，也是 ${\Sigma \text{Σ}\Sigma }_{12}$ 的转置；右下角是 $Y\text{Y}Y$ 的协方差矩阵。
        下面计算 ${U\text{U}U}_i$ 和 ${V\text{V}V}_i$ 的方差和协方差：
$$D[{U\text{U}U}_i]={a\text{a}a}_i^T{\Sigma \text{Σ}\Sigma }_{11}{a\text{a}a}_{i}D[{V\text{V}V}_i]={b\text{b}b}_i^T{\Sigma \text{Σ}\Sigma }_{22}{b\text{b}b}_{i}Cov\left({U\text{U}U}_i,{V\text{V}V}_i\right)={a\text{a}a}_i^T{\Sigma \text{Σ}\Sigma }_{12}{b\text{b}b}_i\text{\hspace{1em}(2-6)}$$

        推导一下第一个：
$$D[{U\text{U}U}_i]=D[{a\text{a}a}_i^{T}X\text{X}X]=\frac{1}{N}\sum _{i=1}^N({a\text{a}a}_i^{T}X\text{X}X-{a\text{a}a}_i^T{\mu \text{μ}\mu }_X{)}^2={a\text{a}a}_i^T\frac{1}{N}\sum _{i=1}^N(X\text{X}X-{\mu \text{μ}\mu }_X{)}^2{a\text{a}a}_i={a\text{a}a}_i^T{\Sigma \text{Σ}\Sigma }_{11}{a\text{a}a}_i\text{\hspace{1em}(2-7)}$$

        下面就可以计算 $\rho ({U\text{U}U}_i,{V\text{V}V}_i)$
$$\rho ({U\text{U}U}_i,{V\text{V}V}_i)=\frac{{a\text{a}a}_i^T{\Sigma \text{Σ}\Sigma }_{12}{b\text{b}b}_i}{\sqrt{{a\text{a}a}_i^T{\Sigma \text{Σ}\Sigma }_{11}{a\text{a}a}_i}\sqrt{{b\text{b}b}_i^T{\Sigma \text{Σ}\Sigma }_{22}{b\text{b}b}_i}}\text{\hspace{1em}(2-8)}$$
        $({U\text{U}U}_i,{V\text{V}V}_i)$ 为第 $i$ 个canonical variate pair，因为 $p\le q$，所以就有 $p$ 对canonical variate pair。
        我们希望找到使得在每一对canonical variate pair中关联关系最大的线性组合。即：
$$\underset{\mathbf{a},\mathbf{b}}{\underbrace{argmax}}\rho ({U\text{U}U}_i,{V\text{V}V}_i)=\underset{\mathbf{a},\mathbf{b}}{\underbrace{argmax}}\frac{{a\text{a}a}_i^T{\Sigma \text{Σ}\Sigma }_{12}{b\text{b}b}_i}{\sqrt{{a\text{a}a}_i^T{\Sigma \text{Σ}\Sigma }_{11}{a\text{a}a}_i}\sqrt{{b\text{b}b}_i^T{\Sigma \text{Σ}\Sigma }_{22}{b\text{b}b}_i}}\text{\hspace{1em}(2-9)}$$

        CCA 用于联合处理两组特征集，其背后的目标是寻找一对投影，每组各一个，使得在投影后得到的新特征最大程度地相关。把研究两组特征之间的问题化为研究两个所谓典型特征之间的相关问题。这里的典型特征不是从原特征组里挑出来的某个特征，而是原有特征的线性组合，因此需要求解的是这个线性组合的系数。

2.1 特征分解求解

        在我们求导之前，需要对分母进行归一化，因为不做归一的话，${a\text{a}a}_i$ 和 ${b\text{b}b}_i$ 扩大任何倍，上面的条件都成立，我们就无法确定 ${a\text{a}a}_i$ 和 ${b\text{b}b}_i$。因此我们令 ${a\text{a}a}_i^T{\Sigma \text{Σ}\Sigma }_{11}{a\text{a}a}_i={b\text{b}b}_i^T{\Sigma \text{Σ}\Sigma }_{22}{b\text{b}b}_i=1$（这里上下式子一同缩放不影响最后求 $\underset{\mathbf{a},\mathbf{b}}{\underbrace{argmax}}\rho ({U\text{U}U}_i,{V\text{V}V}_i)$ 的结果）。此时优化问题的条件是：
$$\begin{gathered} Maximize：{a\text{a}a}_i^T{\Sigma \text{Σ}\Sigma }_{12}{b\text{b}b}_i \\ Subjectto：{a\text{a}a}_i^T{\Sigma \text{Σ}\Sigma }_{11}{a\text{a}a}_i=1，{b\text{b}b}_i^T{\Sigma \text{Σ}\Sigma }_{22}{b\text{b}b}_i=1\text{\hspace{1em}(2-10)} \end{gathered}$$

        这样使用拉格朗日乘子法就可以得到：
$$J(a\text{a}a,b\text{b}b)={a\text{a}a}_i^T{\Sigma \text{Σ}\Sigma }_{12}{b\text{b}b}_i-\frac{\lambda }{2}({a\text{a}a}_i^T{\Sigma \text{Σ}\Sigma }_{11}{a\text{a}a}_i-1)-\frac{\theta }{2}({b\text{b}b}_i^T{\Sigma \text{Σ}\Sigma }_{22}{b\text{b}b}_i-1)\text{\hspace{1em}(2-11)}$$
        求偏导，并令导数为0，可得：
$$\{\begin{array}{ll}\frac{J(a\text{a}a,b\text{b}b)}{\partial \mathbf{a}}={\Sigma \text{Σ}\Sigma }_{12}{b\text{b}b}_i-\lambda {\Sigma \text{Σ}\Sigma }_{11}{a\text{a}a}_i=0& \text{①}\\ & \\ \frac{J(a\text{a}a,b\text{b}b)}{\partial \mathbf{b}}={\Sigma \text{Σ}\Sigma }_{21}{a\text{a}a}_i-\theta {\Sigma \text{Σ}\Sigma }_{22}{b\text{b}b}_i=0& \text{②}\end{array}\text{\hspace{1em}(2-12)}$$
        等式①左乘 ${a\text{a}a}_i^T$，等式②左乘 ${b\text{b}b}_i^T$，再根据 ${a\text{a}a}_i^T{\Sigma \text{Σ}\Sigma }_{11}{a\text{a}a}_i={b\text{b}b}_i^T{\Sigma \text{Σ}\Sigma }_{22}{b\text{b}b}_i=1$，得到
$$\lambda =\theta ={a\text{a}a}_i^T{\Sigma \text{Σ}\Sigma }_{12}{b\text{b}b}_i\text{\hspace{1em}(2-13)}$$
        其实也就是说我们的拉格朗日系数就是我们要优化的目标，所以只需要找到最大的 $\lambda$ 即可。
        我们上面的方程组进一步简化，并写成矩阵形式，得到
　$$\{\begin{array}{ll}{\Sigma \text{Σ}\Sigma }_{11}^{-1}{\Sigma \text{Σ}\Sigma }_{12}{b\text{b}b}_i=\lambda {a\text{a}a}_i& \text{ ③}\\ & \\ {\Sigma \text{Σ}\Sigma }_{22}^{-1}{\Sigma \text{Σ}\Sigma }_{21}{a\text{a}a}_i=\lambda {b\text{b}b}_i& \text{④}\end{array}\text{\hspace{1em}(2-14)}$$

        表示成矩阵形式
$$\left[\begin{array}{cc}{\Sigma \text{Σ}\Sigma }_{11}^{-1}& 0\\ 0& {\Sigma \text{Σ}\Sigma }_{22}^{-1}\end{array}\right]\left[\begin{array}{cc}0& {\Sigma \text{Σ}\Sigma }_{12}\\ {\Sigma \text{Σ}\Sigma }_{21}& 0\end{array}\right]\left[\begin{array}{c}{a\text{a}a}_i\\ {b\text{b}b}_i\end{array}\right]=\lambda \left[\begin{array}{c}{a\text{a}a}_i\\ {b\text{b}b}_i\end{array}\right]\text{\hspace{1em}(2-15)}$$
        令
$$B\text{B}B=\left[\begin{array}{cc}{\Sigma \text{Σ}\Sigma }_{11}& 0\\ 0& {\Sigma \text{Σ}\Sigma }_{22}\end{array}\right],A\text{A}A=\left[\begin{array}{cc}0& {\Sigma \text{Σ}\Sigma }_{12}\\ {\Sigma \text{Σ}\Sigma }_{21}& 0\end{array}\right],w\text{w}w=\left[\begin{array}{c}{a\text{a}a}_i\\ {b\text{b}b}_i\end{array}\right]\text{\hspace{1em}(2-16)}$$
        上式就可以写做：
$${B\text{B}B}^{-1}Aw\text{Aw}Aw=\lambda w\text{w}w\text{\hspace{1em}(2-17)}$$
        只要求得 ${B\text{B}B}^{-1}A\text{A}A$ 的最大特征值 ${\lambda }_{max}$，那么 $\rho ({U\text{U}U}_i,{V\text{V}V}_i)$ 和 $a\text{a}a$ 和 $b\text{b}b$ 都可以求出。

        如果直接计算 ${B\text{B}B}^{-1}A\text{A}A$ 的特征值，复杂度有点高。我们将式子④代入式子③，可以得到：
$${\Sigma \text{Σ}\Sigma }_{11}^{-1}{\Sigma \text{Σ}\Sigma }_{12}{\Sigma \text{Σ}\Sigma }_{22}^{-1}{\Sigma \text{Σ}\Sigma }_{21}{a\text{a}a}_i={\lambda }^2{a\text{a}a}_i\text{\hspace{1em}(2-18)}$$

        这样先对 ${\Sigma \text{Σ}\Sigma }_{11}^{-1}{\Sigma \text{Σ}\Sigma }_{12}{\Sigma \text{Σ}\Sigma }_{22}^{-1}{\Sigma \text{Σ}\Sigma }_{21}$ 求特征值 ${\lambda }^2$ 和特征向量 ${a\text{a}a}_i$，然后根据式子④求得 ${b\text{b}b}_i$。

        假设按照上述过程，得到了 $\lambda$ 最大时的 ${a\text{a}a}_1$ 和 ${b\text{b}b}_1$。那么 ${U\text{U}U}_1$ 和 ${V\text{V}V}_1$ 称为第一对典型变量（canonical variates），$\lambda$ 即是 ${U\text{U}U}_1$ 和 ${V\text{V}V}_1$ 的相关系数。

        最后，我们得到 ${U\text{U}U}_1$ 和 ${V\text{V}V}_1$ 的等式为：
$${U\text{U}U}_1={a\text{a}a}_1^{T}X\text{X}X,{V\text{V}V}_1={b\text{b}b}_1^{T}Y\text{Y}Y\text{\hspace{1em}(2-19)}$$
        我们也可以接着去寻找第二组典型变量对，其最优化条件是
$$\begin{gathered} Maximize：{a\text{a}a}_2^T{\Sigma \text{Σ}\Sigma }_{12}{b\text{b}b}_2 \\ Subjectto：{a\text{a}a}_2^T{\Sigma \text{Σ}\Sigma }_{11}{a\text{a}a}_2=1，{b\text{b}b}_2^T{\Sigma \text{Σ}\Sigma }_{22}{b\text{b}b}_2=1 \\ {a\text{a}a}_2^T{\Sigma \text{Σ}\Sigma }_{11}{a\text{a}a}_1=0，{b\text{b}b}_2^T{\Sigma \text{Σ}\Sigma }_{22}{b\text{b}b}_1=0\text{\hspace{1em}(2-20)} \end{gathered}$$

        第二组的约束条件等价于 $\rho ({U\text{U}U}_2,{U\text{U}U}_1)=0，\rho ({V\text{V}V}_2,{V\text{V}V}_1)=0$，主要是为了有效测度两组变量的相关信息，第二对典型变量应不再包含第一对典型变量已包含的信息。
        计算步骤同第一组计算方法，只不过是 ${\lambda }_2^2$ 取 ${\Sigma \text{Σ}\Sigma }_{11}^{-1}{\Sigma \text{Σ}\Sigma }_{12}{\Sigma \text{Σ}\Sigma }_{22}^{-1}{\Sigma \text{Σ}\Sigma }_{21}$ 的第二大特征值。

        类似地，依次可求出第 $r$ 对典型变量：${U\text{U}U}_r={a\text{a}a}_r^{T}X\text{X}X$ 和 ${V\text{V}V}_r={b\text{b}b}_r^{T}Y\text{Y}Y$，其系数向量 ${a\text{a}a}_r$ 和 ${b\text{b}b}_r$ 分别为矩阵 ${\Sigma \text{Σ}\Sigma }_{11}^{-1}{\Sigma \text{Σ}\Sigma }_{12}{\Sigma \text{Σ}\Sigma }_{22}^{-1}{\Sigma \text{Σ}\Sigma }_{21}$ 和 ${\Sigma \text{Σ}\Sigma }_{22}^{-1}{\Sigma \text{Σ}\Sigma }_{21}{\Sigma \text{Σ}\Sigma }_{11}^{-1}{\Sigma \text{Σ}\Sigma }_{12}$ 的第 $r$ 特征根 ${\lambda }_r^2$ 对应的特征向量。${\lambda }_r$ 即为第 $r$ 典型相关系数。

        综上所述，典型变量和典型相关系数的计算可归结为矩阵 ${\Sigma \text{Σ}\Sigma }_{11}^{-1}{\Sigma \text{Σ}\Sigma }_{12}{\Sigma \text{Σ}\Sigma }_{22}^{-1}{\Sigma \text{Σ}\Sigma }_{21}$ 和 ${\Sigma \text{Σ}\Sigma }_{22}^{-1}{\Sigma \text{Σ}\Sigma }_{21}{\Sigma \text{Σ}\Sigma }_{11}^{-1}{\Sigma \text{Σ}\Sigma }_{12}$ 特征根及相应特征向量的求解。如果矩阵${\Sigma \text{Σ}\Sigma }_{11}^{-1}{\Sigma \text{Σ}\Sigma }_{12}{\Sigma \text{Σ}\Sigma }_{22}^{-1}{\Sigma \text{Σ}\Sigma }_{21}$ 和 ${\Sigma \text{Σ}\Sigma }_{22}^{-1}{\Sigma \text{Σ}\Sigma }_{21}{\Sigma \text{Σ}\Sigma }_{11}^{-1}{\Sigma \text{Σ}\Sigma }_{12}$ 的秩为 $r$ ，则共有 $r$ 对典型变量，第 $k$ 对($1\le k\le r$)典型变量的系数向量分别是矩阵${\Sigma \text{Σ}\Sigma }_{11}^{-1}{\Sigma \text{Σ}\Sigma }_{12}{\Sigma \text{Σ}\Sigma }_{22}^{-1}{\Sigma \text{Σ}\Sigma }_{21}$ 和 ${\Sigma \text{Σ}\Sigma }_{22}^{-1}{\Sigma \text{Σ}\Sigma }_{21}{\Sigma \text{Σ}\Sigma }_{11}^{-1}{\Sigma \text{Σ}\Sigma }_{12}$ 第 $k$ 特征根${\lambda }_k^2$ 相应的特征向量，典型相关系数为 ${\lambda }_k$。
        典型变量具有如下性质：

1. $D({U\text{U}U}_k)=1,D({V\text{V}V}_k)=1(k=1,2,\cdots ,r)$
2. $Cov({U\text{U}U}_i,{U\text{U}U}_j)=0,Cov({V\text{V}V}_i,{V\text{V}V}_j)=0(i\ne j)$
3. $Cov({U\text{U}U}_i,{U\text{U}U}_j)=\{\begin{array}{l}{\lambda }_i\ne 0(i=j,i=1,2,\cdots ,r)\\ 0(i\ne j)\end{array}$

        有些教程称以上方法为特征分解法，这里也可以使用奇异值分解（SVD）进行求解，下面写一下推导过程。

2.2 SVD求解

        首先，令 $a\text{a}a={\Sigma \text{Σ}\Sigma }_{11}^{-1/2}u\text{u}u,b\text{b}b={\Sigma \text{Σ}\Sigma }_{22}^{-1/2}v\text{v}v$
$$\begin{gathered} {a\text{a}a}^T{\Sigma \text{Σ}\Sigma }_{11}a\text{a}a=1\Rightarrow {u\text{u}u}^T{\Sigma \text{Σ}\Sigma }_{11}^{-1/2}{\Sigma \text{Σ}\Sigma }_{11}{\Sigma \text{Σ}\Sigma }_{11}^{-1/2}u\text{u}u=1\Rightarrow {u\text{u}u}^{T}u\text{u}u=1 \\ {b\text{b}b}^T{\Sigma \text{Σ}\Sigma }_{22}b\text{b}b=1\Rightarrow {v\text{v}v}^T{\Sigma \text{Σ}\Sigma }_{22}^{-1/2}{\Sigma \text{Σ}\Sigma }_{22}{\Sigma \text{Σ}\Sigma }_{22}^{-1/2}v\text{v}v=1\Rightarrow {v\text{v}v}^{T}v\text{v}v=1 \\ {a\text{a}a}^T{\Sigma \text{Σ}\Sigma }_{12}b\text{b}b={u\text{u}u}^T{\Sigma \text{Σ}\Sigma }_{11}^{-1/2}{\Sigma \text{Σ}\Sigma }_{12}{\Sigma \text{Σ}\Sigma }_{22}^{-1/2}v\text{v}v\text{\hspace{1em}(2-21)} \end{gathered}$$
        我们的优化目标变成下式：
$$\begin{gathered} \underset{\mathbf{u},\mathbf{v}}{\underbrace{argmax}}{u\text{u}u}^T{\Sigma \text{Σ}\Sigma }_{11}^{-1/2}{\Sigma \text{Σ}\Sigma }_{12}{\Sigma \text{Σ}\Sigma }_{22}^{-1/2}v\text{v}v \\ Subjectto：{u\text{u}u}^{T}u\text{u}u=1，{v\text{v}v}^{T}v\text{v}v=1\text{\hspace{1em}(2-22)} \end{gathered}$$
        观察上面的式子，如果将 $u\text{u}u$ 和 $v\text{v}v$ 看做矩阵 $M\text{M}M={\Sigma \text{Σ}\Sigma }_{11}^{-1/2}{\Sigma \text{Σ}\Sigma }_{12}{\Sigma \text{Σ}\Sigma }_{22}^{-1/2}$ 的某一个奇异值对应的左右奇异向量。那么利用奇异值分解，我们可以得到 $M\text{M}M=U\text{U}U\Sigma \text{Σ}\Sigma {V\text{V}V}^T$，其中 $U\text{U}U$、$V\text{V}V$ 分别为$M\text{M}M$ 的左奇异向量和右奇异向量组成的矩阵，而 $\Sigma \text{Σ}\Sigma$ 为 $M\text{M}M$ 的奇异值组成的对角矩阵。由于 $U\text{U}U$、$V\text{V}V$ 所有的列都为标准正交基，则 ${u\text{u}u}^{T}U\text{U}U$ 和 ${V\text{V}V}^{T}v\text{v}v$ 得到一个只有一个标量值为1，其余标量值为0的向量。此时我们有
$${u\text{u}u}^T{\Sigma \text{Σ}\Sigma }_{11}^{-1/2}{\Sigma \text{Σ}\Sigma }_{12}{\Sigma \text{Σ}\Sigma }_{22}^{-1/2}v\text{v}v={u\text{u}u}^T{U\Sigma V\text{UΣV}U\Sigma V}^{T}v\text{v}v={\sigma }_{\mathbf{u}\mathbf{v}}\text{\hspace{1em}(2-23)}$$

        也就是说我们最大化 ${u\text{u}u}^T{\Sigma \text{Σ}\Sigma }_{11}^{-1/2}{\Sigma \text{Σ}\Sigma }_{12}{\Sigma \text{Σ}\Sigma }_{22}^{-1/2}v\text{v}v$，其实对应的最大值就是某一组左右奇异向量所对应的奇异值的最大值。也就是将 $M\text{M}M$ 做了奇异值分解后，最大的奇异值就是我们优化目标的最大值，或者说我们的 ${U\text{U}U}_1$ 和 ${V\text{V}V}_1$ 之间的最大相关系数。利用对应的左右奇异向量 $u\text{u}u$、$v\text{v}v$，我们也可以求出我们原始的 $X\text{X}X$ 和 $Y\text{Y}Y$ 的线性系数 $a\text{a}a={\Sigma \text{Σ}\Sigma }_{11}^{-1/2}u\text{u}u,b\text{b}b={\Sigma \text{Σ}\Sigma }_{22}^{-1/2}v\text{v}v$。

        可以看出，SVD的求解方式非常简洁方便，但是两者求得的结果其实是等价的，只要利用SVD和特征分解之间的关系就很容易发现两者最后的结果相同。

---

3 Python案例

        使用seaborn里提供的一个企鹅种类数据集来演示 CCA。

# 导入库文件
import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.cross_decomposition import CCA

# 读取数据集
data = "https://raw.githubusercontent.com/mwaskom/seaborn-data/master/penguins.csv"
df = pd.read_csv(data)
df = df.dropna()	# Delete missing data in dataframe data
df.head()

        对于特征的意义，可以对照下图理解。

# 对数据标准化处理
X = df[['bill_length_mm','bill_depth_mm']]
Y = df[['flipper_length_mm','body_mass_g']]
X_mc = (X-X.mean())/(X.std())
Y_mc = (Y-Y.mean())/(Y.std())

        典型相关分析涉及多个变量，不同的变量往往具有不同的量纲及不同的数量级别。在进行典型相关分析时，由于典型变量是原始变量的线性组合，具有不同量纲变量的线性组合显然失去了实际意义。其次，不同的数量级别会导致“以大吃小”，即数量级别小的变量的影响会被忽略，从而影响了分析结果的合理性。因此，为了消除量纲和数量级别的影响，必须对数据先做标准化变换处理，然后再做典型相关分析。显然，经标准化变换之后的协差阵就是相关系数矩阵，因而，也即通常应从相关矩阵出发进行典型相关分析。

cca = CCA(n_components=2)
cca.fit(X_mc, Y_mc)
X_c, Y_c = cca.transform(X_mc, Y_mc)
scores = np.corrcoef(cca.x_scores_, cca.y_scores_, rowvar=False)
score = np.diag(scores[:2, 2:])
# score: array([0.78763151, 0.08638695])

        现在我们已经完成了典型相关分析，让我们更深入地了解我们作为结果得到的典型协变量对。

        在这个实验中，我们知道我们拥有的两组度量值，因为这两个数据矩阵来自同一组企鹅。我们早些时候怀疑这些测量的差异是由于企鹅物种差异造成的。因此，这两个测量值背后的一个共同潜在变量是物种变量。而我们的 CCA 分析的主要目标是捕捉共同变量。我们还看到第一对规范变量高度相关。

        让我们检验一下典型协变量是否实际上是种类变量。首先，让我们用企鹅数据和第一对典型协变量创建数据矩。

# 用企鹅数据和第一对典型协变量创建数据矩阵
cc_res = pd.DataFrame({"CCX_1":X_c[:, 0],
                       "CCY_1":Y_c[:, 0],
                       "CCX_2":X_c[:, 1],
                       "CCY_2":Y_c[:, 1],
                       "Species":df.species.tolist(),
                       "Island":df.island.tolist(),
                       "sex":df.sex.tolist()})
cc_res.head()

plt.figure(figsize=(10, 6))
sns.boxplot(x="Species",
            y="CCX_1", 
            data=cc_res)
sns.stripplot(x="Species",
              y="CCX_1", 
              data=cc_res)

        从箱线图中可以清楚地看出，第一对典型协变量确实与种类变量高度相关。

        最后，再将两个典型协变量一起绘制，以种类变量着色，将更清楚地揭示种类与两个典型协变量之间的关系。

plt.figure(figsize=(10,6))
sns.scatterplot(x="CCX_1",
                y="CCY_1", 
                hue="Species", data=cc_res)
plt.title('First Pair of Canonical Covariate, corr = %.2f' %
         np.corrcoef(X_c[:, 0], Y_c[:, 0])[0, 1])

---

4 小结

4.1 问题分析

1. 若存在特征间线性相关时，协方差矩阵会存在不可逆的情况，该怎么处理？
   一般遇到这种情况可以对 ${\Sigma \text{Σ}\Sigma }_{11}$、${\Sigma \text{Σ}\Sigma }_{22}$ 进行正则化，即变化为 ${\Sigma \text{Σ}\Sigma }_{11}+\gamma I\text{I}I$、${\Sigma \text{Σ}\Sigma }_{22}+\gamma I\text{I}I$，然后继续求逆，其中 $\gamma$ 为正则化系数。
2. 样本量特别大时，该怎么办？
   建议将样本对拆成两半的两个样本分别做典型相关分析，再把结果进行比较。
3. 如果有多个集合($X,Y,Z$)，怎么衡量多个样本集的关系？
   可以使用文献里提到的典型相关的推广方法使得两两集合的距离差之和最小。

4.2 拓展

1. 核典型相关分析(KCCA)
   当我们的数据无法线性表示时，CCA就无法使用，此时我们可以利用核函数的思想，将数据映射到高维后，再利用CCA的思想降维到1维，求对应的相关系数和线性关系。
2. 广义典型相关分析(GCCA)
   GCCA通过改进CCA的优化条件，在内协方差矩阵中增加类别信息，使分类性能得以提高。
3. 判别典型相关分析(DCCA)
   DCCA则是将类别信息引入到互协方差矩阵，其充分考虑了同类样本之间的相关与不同类样本之间的相关的影响。
   __

参考

• 典型相关分析 CCA 及 Python 实验：https://jishuin.proginn.com/p/763bfbd6a9ac
• CCA典型关联分析原理与Python案例：https://cloud.tencent.com/developer/article/1652998
• CCA算法-原理-python代码分析：https://ynqiu.github.io/2018/04/13/understanding-cca/
• 典型关联分析（Canonical Correlation Analysis）：https://www.cnblogs.com/jerrylead/archive/2011/06/20/2085491.html
• 典型相关分析：https://www.cnblogs.com/duye/p/9384821.html
• 典型关联分析（CCA）原理总结：https://www.cnblogs.com/pinard/p/6288716.html
• GCCA、KCCA、TCCA、SCCA、DCCA：https://github.com/jameschapman19/cca_zoo