什么是交叉核矩阵、自身核矩阵?

交叉核矩阵（Cross-Kernel Matrix）和自身核矩阵（Self-Kernel Matrix）是核方法中用于衡量不同数据集或同一数据集内部点之间相似度的矩阵。

这些矩阵在多视图学习、核典型相关性分析（KCCA）、核主成分分析（Kernel PCA）和其他核方法中扮演着重要角色。

自身核矩阵

自身核矩阵是用于衡量数据集中各点之间相似度的矩阵。对于一个数据集 X = { x 1 , x 2 , … , x n } \mathbf{X} = \{x_1, x_2, \ldots, x_n\} X={x1​,x2​,…,xn​} ，自身核矩阵 $\mathbf{K}$ 定义为：

$$\mathbf{K}=\left(\begin{array}{cccc}k(x_1,x_1)& k(x_1,x_2)& \cdots & k(x_1,x_n)\\ k(x_2,x_1)& k(x_2,x_2)& \cdots & k(x_2,x_n)\\ ⋮& ⋮& \ddots & ⋮\\ k(x_n,x_1)& k(x_n,x_2)& \cdots & k(x_n,x_n)\end{array}\right)$$

其中，

• $k(\cdot ,\cdot )$ 是核函数，它接受两个数据点作为输入，返回它们在映射到高维空间后的内积，即 $k(x_i,x_j)=⟨\varphi (x_i),\varphi (x_j)⟩$ ，其中 $\varphi$ 是映射函数。

交叉核矩阵

交叉核矩阵用于衡量两个不同数据集之间的相似度。对于两个数据集 X = { x 1 , x 2 , … , x n } \mathbf{X} = \{x_1, x_2, \ldots, x_n\} X={x1​,x2​,…,xn​} 和 Y = { y 1 , y 2 , … , y m } \mathbf{Y} = \{y_1, y_2, \ldots, y_m\} Y={y1​,y2​,…,ym​} ，交叉核矩阵 ${\mathbf{K}}_{xy}$ 定义为：

$${\mathbf{K}}_{xy}=\left(\begin{array}{cccc}k(x_1,y_1)& k(x_1,y_2)& \cdots & k(x_1,y_m)\\ k(x_2,y_1)& k(x_2,y_2)& \cdots & k(x_2,y_m)\\ ⋮& ⋮& \ddots & ⋮\\ k(x_n,y_1)& k(x_n,y_2)& \cdots & k(x_n,y_m)\end{array}\right)$$

同样的，

• $k(\cdot ,\cdot )$ 是核函数，用于衡量映射后的数据点之间的相似度。

举例

假设我们有一个简单的高斯核函数（Radial Basis Function, RBF）：
$$k(x_i,x_j)=\exp \left(-\frac{\Vert x_i-x_j{\Vert }^2}{2{\sigma }^2}\right)$$

这里，

• $\Vert x_i-x_j\Vert$ 是点 $x_i$ 和 $x_j$ 之间的欧几里得距离。
• $\sigma$ 是高斯核的宽度参数，决定了相似度随距离变化的速度。

总结

• 自身核矩阵和交叉核矩阵是核方法中衡量数据点之间相似度的工具。
• 自身核矩阵用于衡量同数据集内部点的相似度
• 交叉核矩阵用于衡量不同数据集之间点的相似度。
• 通过使用适当的核函数，这些矩阵能够捕获数据的非线性结构，这对于许多机器学习和数据挖掘任务都是至关重要的。