基于典型相关性分析的多视图学习方法（基于数据降维的 CCA）——稀疏典型相关分析（Sparse CCA）

稀疏典型相关分析（Sparse Canonical Correlation Analysis, Sparse CCA）是典型相关分析（CCA）的一个扩展版本，其目标是在两组变量之间找到具有最大相关性的线性组合，同时使这些线性组合尽可能地简洁，即只包含少量的非零系数。这使得结果更加易于解释，同时也减少了计算负担。

典型相关分析 (CCA)

在传统的CCA中，对于两组随机变量 $\mathbf{X}\in {\mathbb{R}}^{n\times p}$ 和 $\mathbf{Y}\in {\mathbb{R}}^{n\times q}$ ，其中 $n$ 是样本数量， $p$ 和 $q$ 是各自的特征维度，CCA的目标是找到投影向量 ${\mathbf{w}}_X$ 和 ${\mathbf{w}}_Y$ ，使得 $\mathbf{X}{\mathbf{w}}_X$ 和 $\mathbf{Y}{\mathbf{w}}_Y$ 之间的相关性最大化。

稀疏CCA的目标

在Sparse CCA中，除了最大化相关性之外，我们还希望投影向量 ${\mathbf{w}}_X$ 和 ${\mathbf{w}}_Y$ 是稀疏的，这意味着它们包含很多零元素，只保留最重要的变量。

这可以通过在优化问题中加入正则化项来实现，通常使用的是 ${\ell }_1$ 范数（Lasso回归），以鼓励系数向量的稀疏性。

Sparse CCA的优化问题

Sparse CCA的优化问题可以表示为：

$$\begin{array}{rlrl}& \underset{{\mathbf{w}}_X,{\mathbf{w}}_Y}{\mathrm{maximize}}& & {\mathbf{w}}_X^{\top }{\mathbf{C}}_{XY}{\mathbf{w}}_Y\\ & \text{subject to}& & {\mathbf{w}}_X^{\top }{\mathbf{C}}_{XX}{\mathbf{w}}_X=1,\\ & & & {\mathbf{w}}_Y^{\top }{\mathbf{C}}_{YY}{\mathbf{w}}_Y=1,\\ & & & ||{\mathbf{w}}_X|{|}_1+||{\mathbf{w}}_Y|{|}_1\le s,\end{array}$$

其中，

• ${\mathbf{C}}_{XX}$ 和 ${\mathbf{C}}_{YY}$ 分别是 $\mathbf{X}$ 和 $\mathbf{Y}$ 的协方差矩阵，
• ${\mathbf{C}}_{XY}$ 是 $\mathbf{X}$ 和 $\mathbf{Y}$ 之间的互协方差矩阵，
• $s$ 是稀疏性参数，控制投影向量中非零系数的数量，
• subject to 即s.t. ，表示约束条件。

公式解释

• ${\mathbf{w}}_X$ 和 ${\mathbf{w}}_Y$ ：投影向量，我们希望找到的。
• ${\mathbf{C}}_{XX}$ 、 ${\mathbf{C}}_{YY}$ 和 ${\mathbf{C}}_{XY}$ ：协方差和互协方差矩阵，分别表示 $\mathbf{X}$ 和 $\mathbf{Y}$ 的内部关系以及它们之间的相互关系。
• $||\cdot |{|}_1$ ：表示向量的 ${\ell }_1$ 范数，即向量中所有元素的绝对值之和，用于促进稀疏性。
• $s$ ：稀疏性参数，用于限制 ${\mathbf{w}}_X$ 和 ${\mathbf{w}}_Y$ 中非零元素的总和。

解决方法

Sparse CCA的优化问题通常不是凸的，因此找到全局最优解可能很困难。实践中，通常使用迭代算法，如交替方向乘子法（ADMM）或坐标下降法，来近似求解这个问题。

总结

Sparse CCA通过在CCA的基础上添加稀疏约束，实现了在保持最大相关性的同时，简化了模型并提高了可解释性。这对于处理高维数据集尤其有用，因为高维数据集中往往包含大量冗余或无关的变量。