机器学习(6.支持向量机二)

2.核函数

引言

在现实任务中，原始样本空间内许并不存在一个能正确划分两类样本的超平面。

将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。

令$\varphi (\mathbf{x})$表示将$\mathbf{x}$映射后的特征向量。那么，在特征空间中划分超平面所对应的模型可表示为：

$f(\mathbf{x})={\mathbf{w}}^T\varphi (\mathbf{x})+b$

则其策略为：

$\begin{array}{rl}\underset{\mathbf{w},b}{\min }& \frac{1}{2}||\mathbf{w}|{|}^2\\ s.t.1-y_i({\mathbf{w}}^T& \varphi ({\mathbf{x}}_i)+b)\le 0,i=1,2,...,m\end{array}$

其对偶问题为：

$\begin{array}{rl}\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m& \sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)\\ s.t.& \sum _{i=1}^m{\alpha }_i{y}_i,\\ {\alpha }_i\ge 0,& i=1,2,...,m\end{array}$

可以看到上述涉及计算$\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$，也就是需要计算样本${\mathbf{x}}_i,{\mathbf{x}}_j$映射到特征空间之后的内积。由于特征空间维数可能很高，甚至可能是无穷维，因此直接计算该值通常是困难的。

设想这样一个函数：

$\kappa ({\mathbf{x}}_i,{\mathbf{x}}_j)=<\varphi ({\mathbf{x}}_i),\varphi ({\mathbf{x}}_j)>=\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$

样本${\mathbf{x}}_i,{\mathbf{x}}_j$在特征空间的内积等于它们在原始样本空间中通过函数$\kappa (\cdot ,\cdot )$计算的结果。$\kappa (\cdot ,\cdot )$称为核函数。

可得到：

$\begin{array}{rl}f(\mathbf{x})& ={\mathbf{w}}^T\varphi (\mathbf{x})+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i\kappa ({\mathbf{x}}_i,{\mathbf{x}}_j)+b\end{array}$

此显示出模型最优解可通过训练样本的核函数展开，这一展式亦称"支持向量展式"(support vector expansion)。

核函数（定理）

只要一个对称函数所对应的核矩阵半正定，它就能作为核函数使用。

常用核函数

核函数的意义

硬间隔支持向量机希望样本在特征空间内线性可分，"核函数"的选择决定特征空间的好坏，从而对支持向量机的性能至关重要。若核函数选择不合适，则意味着将样本映射到了一个不合适的特征空间，很可能导致模型性能不佳。

3.核方法

基于核函数的学习方法，统称为"核方法"(kernel methods)。

由SVM和SVR的学习模型可以发现，给定训练样本，若不考虑偏移项，总能表示成核函数的线性组合。

进一步可得到表示定理：

最常见的，是通过"核化"(即引入核函数)来将线性学习器拓展为非线性学习器。

97380333240)]\assets\表示定理.png)

最常见的，是通过"核化"(即引入核函数)来将线性学习器拓展为非线性学习器。

西瓜书(p137-139)以线性判别分析为例来演示如何通过核化来对其进行非线性拓展从而得到"核线性判别分析"(Kernelized Linear Discriminant Analysis，KLDA)。