基于典型相关性分析的多视图学习方法（基于核技术的 CCA）——核典型相关性分析（KCCA）

核典型相关性分析（Kernel Canonical Correlation Analysis, KCCA）是典型相关性分析（Canonical Correlation Analysis, CCA）的非线性扩展，它允许分析者在高维特征空间中寻找两组变量之间的相关性，而无需显式地构造高维空间的特征向量。

这是通过使用核技巧（kernel trick）实现的，核技巧允许在原始低维空间中计算高维空间的内积，避免了维度灾难带来的计算复杂性。

KCCA的基本原理

KCCA的目标是找到两组变量 $\mathbf{X}$ 和 $\mathbf{Y}$ 在高维特征空间中的非线性投影，使得投影后的变量之间有最大相关性。这里的 $\mathbf{X}$ 和 $\mathbf{Y}$ 可以是两组观测数据，比如一组图像和一组描述这些图像的文字。

KCCA的公式

给定数据集 X = { x 1 , x 2 , … , x n } \mathbf{X} = \{x_1, x_2, \ldots, x_n\} X={x1​,x2​,…,xn​} 和 Y = { y 1 , y 2 , … , y n } \mathbf{Y} = \{y_1, y_2, \ldots, y_n\} Y={y1​,y2​,…,yn​}，其中 $x_i$ 和 $y_i$ 分别属于 $\mathbf{X}$ 和 $\mathbf{Y}$ 。
KCCA试图找到投影方向 $\alpha$ 和 $\beta$，使得在映射到高维空间后的 $\varphi (x)$ 和 $\varphi (y)$ 上的投影 ${\alpha }^T\varphi (x)$ 和 ${\beta }^T\varphi (y)$ 有最大相关性。

公式细节

为了简化问题，我们通常使用中心化的数据，即 $\mathbf{X}$ 和 $\mathbf{Y}$ 的数据已经被减去了平均值。接下来，KCCA试图最大化下面的比率：

$$\rho =\frac{\text{cov}({\alpha }^T\varphi (\mathbf{X}),{\beta }^T\varphi (\mathbf{Y}))}{\sqrt{\text{var}({\alpha }^T\varphi (\mathbf{X}))\text{var}({\beta }^T\varphi (\mathbf{Y}))}}$$

这里，

• $\alpha$ 和 $\beta$ 是投影方向向量。
• $\varphi (\mathbf{X})$ 和 $\varphi (\mathbf{Y})$ 是数据集 $\mathbf{X}$ 和$\mathbf{Y}$ 映射到高维空间的结果。
• $\text{cov}$ 是协方差函数。
• $\text{var}$ 是方差函数。

但是，直接计算上述公式中的高维空间的内积是不可行的，因此我们使用核函数 $k(\cdot ,\cdot )$ 来代替内积，这样可以避免显式地构造高维空间的向量。核函数是定义在原始数据空间上的，满足默瑟条件，即 $k(x,y)=⟨\varphi (x),\varphi (y)⟩$。

KCCA的优化问题

最终的优化问题是求解下列广义特征值问题：

$${\mathbf{K}}_{xy}\beta =\lambda {\mathbf{K}}_{yy}\beta$$

和

$${\mathbf{K}}_{yx}\alpha =\lambda {\mathbf{K}}_{xx}\alpha$$

这里，

• ${\mathbf{K}}_{xy}$ 是 $\mathbf{X}$ 和 $\mathbf{Y}$ 之间的核矩阵，其中 ${\mathbf{K}}_{xy}(i,j)=k(x_i,y_j)$。
• ${\mathbf{K}}_{xx}$ 和 ${\mathbf{K}}_{yy}$ 分别是 $\mathbf{X}$ 和$\mathbf{Y}$ 自身的核矩阵。
• $\alpha$ 和 $\beta$ 是与最大特征值 $\lambda$ 对应的特征向量，它们定义了 $\mathbf{X}$ 和 $\mathbf{Y}$ 的投影方向。

通过求解上述广义特征值问题，我们可以获得投影方向 $\alpha$ 和 $\beta$，进而找到两组变量在高维空间中的最大相关性投影。