典型相关性分析（Canonical Correlation Analysis, CCA）是经典的挖掘视图相关 性的多视图子空间学习方法[38]，主要是计算两视图特征的最大线性投影，使得在投影空间中，两视图特征的相关性最大。

但 CCA 存在两个局限:

  • 第一，只适用于两视图学习；
  • 第二，只能进行线性运算，无法满足两视图特征的非线性关系运算。

基本概念

典型相关性分析（Canonical Correlation Analysis, CCA）是一种统计方法，用于量化和理解两组变量之间的线性关系。

CCA旨在找到两组变量内的线性组合，使得这些组合之间的相关性最大化。这种方法特别适用于探索不同数据源或测量方式之间的潜在联系。

CCA的基本目标是在两组随机变量 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_学习方法 和 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_数据集_02 之间寻找一对线性组合，使得它们之间的相关性最大化。这里，基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_学习方法 和 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_数据集_02 可以是任意两个数据集，例如，一个人的身高和体重数据集和这个人跑步和跳远的能力数据集。

CCA的主要公式和解释如下：

  • 给定两组随机变量向量 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_特征值_05 和 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_协方差矩阵_06，其中基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_数据集_07 和 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_协方差矩阵_08
  • CCA试图找到向量 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_学习方法_09 和 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_协方差矩阵_10，使得新的变量 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_学习方法_11 和 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_学习方法_12 之间的相关性最大。
  • 这里的 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_协方差矩阵_13 和 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_协方差矩阵_14 分别表示向量 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_特征值_15 和 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_特征值_16 的转置。
CCA的优化目标是：

基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_特征值_17

其中，

  • 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_数据集_18 是典型相关系数，表示 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_特征值_19 和 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_协方差矩阵_20 之间的相关性。
  • 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_特征值_21 是 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_特征值_19 和 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_协方差矩阵_20 的协方差。
  • 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_数据集_24 和 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_特征值_25 分别是 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_特征值_19 和 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_协方差矩阵_20的 方差。

为了简化这个目标，CCA通过求解广义特征值问题来实现。具体来说，CCA试图最大化如下表达式：

基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_特征值_28

其中，

  • 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_数据集_29 是 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_协方差矩阵_30 的协方差矩阵。
  • 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_学习方法_31 是 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_学习方法_32 的协方差矩阵。
  • 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_学习方法_33 和 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_数据集_34 分别是 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_协方差矩阵_30 和 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_学习方法_32 之间的交叉协方差矩阵。

然而，为了简化计算，通常CCA通过求解以下广义特征值问题来实现：

基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_学习方法_37
基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_学习方法_38

其中，

  • 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_特征值_39
  • 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_学习方法_40 和 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_协方差矩阵_41 分别是与最大特征值对应的特征向量，这些向量给出最优的线性组合 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_特征值_19 和 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_协方差矩阵_20。

CCA的一个关键假设是协方差矩阵 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_数据集_44 和 基于典型相关性分析的多视图学习方法——典型相关性分析（Canonical Correlation Analysis, CCA）_学习方法_45 是非奇异的。如果矩阵奇异，需要额外的技术来处理这个问题。

在多视图学习中，CCA被用来寻找多个视图之间的线性投影，使得投影后的数据在新的低维空间中保留了视图间的相关性。这种技术在跨模态检索、多视图特征融合等领域有广泛的应用。