[机器学习]解决支持向量机线性不可分问题——核函数II

问题

之前在 支持向量机I 中介绍支持向量机通过在样本空间找到一个划分超平面实现将样本分类。但现实任务中，原始样本空间可能不存在一个能正确划分两类样本的超平面。

对于这种问题，可将样本从原始空间映射到一个更高维特征空间，使样本在该特征空间线性可分。

关键准则： 若原始空间是有限维，即属性数有限，那么一定存在一个高维特征空间使样本可分。

目标函数

1. 划分超平面模型：
   $$f(x)=w^T\varphi (x)+b$$
2. 目标函数：
   $$\begin{array}{c}{min}_{w,b}\frac{1}{2}{\Vert w\Vert }^2\\ s.t.y_i(w^T\varphi (x_i)+b)\ge 1i=1,2,\cdots ,m\end{array}$$
   等价于：
   $$\begin{array}{c}ma{x}_{\alpha }{\sum }_{i=1}^m{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi (x_i{)}^T\varphi (x_j)\\ s.t.{\alpha }_i{y}_i=0\\ {\alpha }_i\ge 0i=1,2,\cdots ,m\end{array}$$

而计算 $\varphi (x_i{)}^T\varphi (x_j)$ 涉及到映射特征空间的内积，往往很高维很难计算。

构造如下函数：$k(x_i,x_j)=⟨\varphi (x_i),\varphi (x_j)⟩=\varphi (x_i{)}^T\varphi (x_i)$，即$x_i$与$x_j$在特征空间的内积等于它们在原始样本空间中通过函数$k(\cdot ,\cdot ,)$计算的结果。

3. 目标函数转化后形式：
   $$\begin{array}{c}ma{x}_{\alpha }{\sum }_{i=1}^m{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_{j}k(x_i,x_j)\\ s.t.{\alpha }_i{y}_i=0\\ {\alpha }_i\ge 0i=1,2,\cdots ,m\end{array}$$
   求解得：
   $$f(x)=w^T\varphi (x)+b=\sum _{i=1}^m{\alpha }_i{y}_i\varphi (x_i{)}^T\varphi (x_i)+b=\sum _{i=1}^m{\alpha }_i{y}_{i}k(x_i,x_j)+b$$

常用核函数

核函数线性组合：

• 对任意正数 ${\gamma }_1$ 和 ${\gamma }_2$，${\gamma }_1{k}_1+{\gamma }_2{k}_2$ 也是核函数；
• 核函数直积 $k_1\otimes k_2(x,z)=k_1(x,z)k_2(x,z)$ 也是核函数；
• 对任意函数 $g(x)$，$k(x,z)=g(x)k_1(x,z)g(z)$ 也是核函数。