核典型相关性分析（Kernel Canonical Correlation Analysis, KCCA）是典型相关性分析（Canonical Correlation Analysis, CCA）的非线性扩展，它允许分析者在高维特征空间中寻找两组变量之间的相关性，而无需显式地构造高维空间的特征向量。

这是通过使用核技巧（kernel trick）实现的，核技巧允许在原始低维空间中计算高维空间的内积，避免了维度灾难带来的计算复杂性。

KCCA的基本原理

KCCA的目标是找到两组变量 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_学习方法 和 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_学习方法_02 在高维特征空间中的非线性投影，使得投影后的变量之间有最大相关性。这里的 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_学习方法 和 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_学习方法_02 可以是两组观测数据，比如一组图像和一组描述这些图像的文字。

KCCA的公式

给定数据集 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_人工智能_05 和 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_学习方法_06，其中 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_优化问题_07 和 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_学习方法_08 分别属于 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_学习方法 和 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_学习方法_02 。
KCCA试图找到投影方向 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_人工智能_11 和 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_显式_12，使得在映射到高维空间后的 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_显式_13 和 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_人工智能_14 上的投影 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_算法_15 和 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_学习方法_16 有最大相关性。

公式细节

为了简化问题，我们通常使用中心化的数据，即 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_学习方法 和 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_学习方法_02

基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_显式_19

这里，

  • 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_算法_20 和 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_显式_21 是投影方向向量。
  • 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_优化问题_22 和 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_算法_23 是数据集 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_优化问题_24 和基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_显式_25 映射到高维空间的结果。
  • 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_算法_26 是协方差函数。
  • 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_优化问题_27 是方差函数。

但是，直接计算上述公式中的高维空间的内积是不可行的，因此我们使用核函数 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_优化问题_28 来代替内积，这样可以避免显式地构造高维空间的向量。核函数是定义在原始数据空间上的，满足默瑟条件，即 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_优化问题_29。

KCCA的优化问题

最终的优化问题是求解下列广义特征值问题：

基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_人工智能_30

和

基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_显式_31

这里，

  • 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_学习方法_32 是 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_优化问题_24 和 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_显式_25 之间的核矩阵，其中 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_学习方法_35。
  • 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_显式_36 和 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_显式_37 分别是 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_优化问题_24 和基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_显式_25 自身的核矩阵。
  • 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_算法_20 和 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_显式_21 是与最大特征值 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_人工智能_42 对应的特征向量，它们定义了 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_优化问题_24 和 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_显式_25 的投影方向。

通过求解上述广义特征值问题，我们可以获得投影方向 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_人工智能_11 和 基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）_显式_12，进而找到两组变量在高维空间中的最大相关性投影。