（《机器学习》完整版系列）第6章 支持向量机SVM——6.2 核函数型支持向量机SVM（方法：与基本型比较来学习）

学习方法：
建立SVM的基本形与核函数型的对比表6.4
RBF与G-SVM对比表6.5

核函数

观察【西瓜书式(6.11)】，其中${\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j$为一个对称矩阵$([x_i{x}_j{]}_{ij})$，将其推广。

定义核函数【西瓜书式(6.22)】$\kappa ({\mathbf{x}}_i,{\mathbf{x}}_j)$，由此形成核矩阵$\mathbf{K}$【西瓜书定理6.1中的矩阵】，它具有对称性：${\mathbf{K}}^{\mathrm{T}}=\mathbf{K}$。

由此可建立SVM的基本形与核函数型的对比表6.4。

对应于SVM基本型的推导过程可以得到其核函数型的推导，有趣的是我们并不需要知道$\varphi (\mathbf{x})$的具体形式。

常用的核函数见【西瓜书表6.1】，当$\kappa ({\mathbf{x}}_i,{\mathbf{x}}_j)={\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j$时，即为SVM基本型。

取【西瓜书表6.1】中的高斯核代入【西瓜书式(6.24)】得高斯核SVM（G-SVM）的解
$$\begin{array}{r}f(\mathbf{x})=\sum _{i=1}^m{\alpha }_i{y}_i\exp \left(-\frac{{\Vert \mathbf{x}-{\mathbf{x}}_i\Vert }^2}{2{\sigma }^2}\right)+b\end{array}\text{\hspace{1em}(6.12)}$$

而由【西瓜书式(5.18)】及【西瓜书式(5.19)】得RBF的解
$$\begin{array}{r}\phi (\mathbf{x})=\sum _{i=1}^q{\mathbf{w}}_i\exp \left(-\frac{{\Vert \mathbf{x}-{\mathbf{c}}_i\Vert }^2}{{\beta }_i^{-1}}\right)\end{array}\text{\hspace{1em}(6.13)}$$

比较式(6.12)与式(6.13)，二者极其相似（故高斯核亦称RBF核），通过如下表6.5 所示，可知：RBF比G-SVM要粗放些，它是选取少量的中心点进行表达。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：6.1 支持向量机SVM的基本型（对偶要KKT条件，不是找对象的条件）
下一篇：6.3 松驰变量（当搜寻范围扩大时，可能会找到更高的山、更低的谷）