核函数

声明：
1. 转载自《统计学习方法》

核函数

定义

设$\chi$是输入空间（欧式空间$R^n$的子集或离散集合，又设$H$为特征空间（希尔伯特空间)，如果存在一个从$\chi$到$H$的映射

$$\phi (x): \chi \rightarrow H$$

使得对所有$x, z \in \chi$，函数$K(x, z) = \phi (x) \cdot \phi(z)$，则称$K(x, z)$为核函数，$\phi (x)$为映射函数，式中$\phi (x) \cdot \phi (z)$为$\phi (x)$和$\phi (z)$的内积。

核技巧的想法是，在学习与预测中只定义核函数$K(x, z)$，而不显示地定义映射函数$\phi$。通常，直接计算$K(x, z)$会比较容易，而通过$\phi (x)$和$\phi (z)$计算$K(x, z)$并不容易。

示例

假设输入空间是$R^2$，核函数是$K(x, z) = (x, z)^2$，是找出相关的特征空间$H$和映射$\phi (x): R^2 \rightarrow H$。

解：
取特征空间$H = R^3$，记$x = (x^{(1)}, x^{(2)})^T$，$z = (z^{(1)}, z^{(2)})^T$，
由于$(x \cdot z)^2 = (x^{(1)}z^{(1)} + x^{(2)}z^{(2)})^2 = (x^{(1)}z^{(1)} )^2 + 2 x^{(1)}z^{(1)} x^{(2)}z^{(2)} + (x^{(2)}z^{(2)}) ^ 2$，
所以可取映射$\phi (x) = ((x^{(1)})^2, \sqrt 2 x^{(1)}x^{(2)}，(x^{(2)})^2）$。
容易验证$\phi (x) \cdot \phi (z) = (x \cdot z)^2 = K(x, z)$。

仍取$H = R^3$以及$\frac 1 {\sqrt 2}((x^{(1)})^2 - (x^{(2)})^2, 2 x^{(1)}x^{(2)}, (x^{(1)})^2 + (x^{(2)})^2)$
同样有$\phi (x) \cdot \phi (z) = (x \cdot z)^2 = K(x, z)$。