SVM算法（三）核技巧

在前文SVM算法（二）线性可分的SVM求解中，详细推导了对线性可分数据的超平面划分原理，同时也抛出了一个问题：若数据非线性，该如何处理？这也是本文需要解决的问题。

一、非线性特征的线性求解

在线性模型$\mathbf{w}\mathbf{x}+\mathbf{b}$中，可对原始线性特征$\mathbf{x}$进行各类非线性转换$\mathbf{\varphi }(\mathbf{x})=x_i{x}_j,e^{x_i},x_i^2$，从而构成非线性特征。在这些非线性特征基础上，同样可以套用类似的线性模型$\mathbf{\varphi }(\mathbf{x})+\mathbf{b}$，求得模型参数。

在原始的SVM问题中，目标问题也仅为线性约束下的二次规划问题，参数$w$也仅为线性特征前的系数。$$\begin{array}{rl}& \min \frac{1}{2}{w}^2\\ & s.t.y_i(w{x}_i+b)\ge 1\end{array}$$但在通过拉格朗日对偶问题变换，可得到对偶问题$$\underset{\alpha }{\max }\underset{w,b}{\min }\frac{1}{2}{w}^2+\sum _i{\alpha }_i(1-y_i(w{x}_i+b)),\alpha \ge 0$$，从而包含n个线性参数$w_i$(对应于n个线性特征)的求解转变为对N个参数$\alpha$(对应于N个样本)的求解，其解为$$\underset{\alpha }{\max }-\frac{1}{2}\sum _i^N\sum _j^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i{x}_j)+\sum _i{\alpha }_i$$注意到在上式中包含两个样本间特征的内积项$x_i{x}_j$，若在问题求解前经过了非线性特征转换，则该内积项可显式写成$\varphi (x_i)\varphi (x_j)$，即：$$\underset{\alpha }{\max }-\frac{1}{2}\sum _i^N\sum _j^N{\alpha }_i{\alpha }_j{y}_i{y}_j(\varphi (x_i)\varphi (x_j))+\sum _i{\alpha }_i$$
但这样会带来如下一些问题：
（1）非线性变换$\varphi$是什么？对于具体的问题，我们并无法提前知晓合适的非线性变换是什么样的形式，因此无法做出准确的非线性特征变换。
（2）设置了非线性变换$\varphi$，运算量过大。对于每个样本都需要先进行非线性特征变换（维度可能非常大，甚至无穷），在计算两两样本间的特征内积。
鉴于此，正式引入核技巧。

二、核技巧

所谓的核技巧，即两样本在特征变换后的特征内积，可直接通过两样本原始特征内积在某函数（核函数）的变换得到。用数学的形式可表达为：$$\varphi (x_i)\ast \varphi (x_j)=K(x_i\ast x_j)$$

2.1 多项式核函数

假设非线性特征变换为:$$\varphi (\mathbf{x})=(1,x_1,x_2,..x_n,x_1^2,x_2^2,...x_n^2)$$所以$$\varphi ({\mathbf{x}}_i)\varphi ({\mathbf{x}}_j)=1+x_{i1}{x}_{j1}+...+x_{in}{x}_{jn}+x_{i1}^2{x}_{j1}^2+...+x_{in}^2{x}_{jn}^2=1+{\mathbf{x}}_{\mathbf{i}}{\mathbf{x}}_{\mathbf{j}}+({\mathbf{x}}_{\mathbf{i}}{\mathbf{x}}_{\mathbf{j}}{)}^2=K({\mathbf{x}}_{\mathbf{i}}{\mathbf{x}}_{\mathbf{j}})$$可见，对于某些非线性特征变换，确实可以找到这样的核函数，无须显式求得具体非线性特征变换空间，从而使得计算更方便。
更一般的，我们可以定义如下的多项式核函数，其可以快速求得各类多项式特征变换后的特征内积值：$$K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})=(\zeta +\gamma {\mathbf{x}}_{\mathbf{i}}{\mathbf{x}}_{\mathbf{j}}{)}^d,\zeta \ge 0,\gamma >0$$

2.2 高斯核函数

假设核函数为：$$\begin{array}{rl}& K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})\\ & =exp(-({\mathbf{x}}_{\mathbf{i}}-{\mathbf{x}}_{\mathbf{j}}{)}^2)\\ & =ex{p}^{-{\mathbf{x}}_i^2}ex{p}^{-{\mathbf{x}}_j^2}ex{p}^{2{\mathbf{x}}_i{\mathbf{x}}_j}\\ & =ex{p}^{-{\mathbf{x}}_i^2}ex{p}^{-{\mathbf{x}}_j^2}\sum _{k=0}^{+\infty }\frac{(2{\mathbf{x}}_i{\mathbf{x}}_j{)}^i}{i!}\\ & =\sum _{k=0}^{+\infty }ex{p}^{-{\mathbf{x}}_i^2}ex{p}^{-{\mathbf{x}}_j^2}\sqrt{\frac{2^k}{k!}}{\mathbf{x}}_i^k\sqrt{\frac{2^k}{k!}}{\mathbf{x}}_j^k\\ & =\varphi ({\mathbf{x}}_i)\varphi ({\mathbf{x}}_j)\end{array}$$其中$$\varphi ({\mathbf{x}}_i)=(1,\sqrt{2}ex{p}^{-{\mathbf{x}}_i^2}{x}_i,\sqrt{\frac{2^2}{2!}}ex{p}^{-{\mathbf{x}}_i^2}{x}_i^2,...)$$可见，通过这种指数函数变换可以模拟无限维的非线性特征变换。
更一般的，定义如下的高斯核函数：
$$K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})=exp(-\gamma ||{\mathbf{x}}_i-{\mathbf{x}}_j|{|}^2)$$
参数$\gamma$反映了高斯核中心的丰满度，其值越大，则曲线越瘦高，中心区域越集中（类似于高斯分布中$\sigma$参数的倒数）

2.3 sigmoid核函数

即双曲正切核，其核函数为：
$$K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})=tanh(-\gamma ({\mathbf{x}}_i\ast {\mathbf{x}}_j)+\zeta )$$

2.4 线性核函数

若不经过任何核函数映射，直接求解原始线性特征内积的方法，叫做线性核，即:$$K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})={\mathbf{x}}_{\mathbf{i}}{\mathbf{x}}_{\mathbf{j}}$$

三、SVM中核技巧的使用

在SVM对偶问题的求解中，广泛使用核技巧：
（1）$\alpha$的求解中：$$\underset{\alpha }{\max }-\frac{1}{2}\sum _i^N\sum _j^N{\alpha }_i{\alpha }_j{y}_i{y}_j(\varphi (x_i)\varphi (x_j))+\sum _i{\alpha }_i$$
（2）参数$b$的求解中：$$b^{\ast }=y_j-\sum _i{\alpha }_i^{\ast }{y}_i(\varphi (x_i)\varphi (x_j))$$
（3）新数据的预测中：$$sign(\sum _i{\alpha }_i^{\ast }{y}_i\varphi (x_i)\varphi (x)+y_j-\sum _i{\alpha }_i^{\ast }{y}_i(\varphi (x_i)\varphi (x_j)))$$在以上诸处的内积处均可引入核技巧，以方便运算。

四、核技巧的使用场景

从以上的推导可见，核技巧是一种强大的特征非线性转换技巧。其无须通过显式求解具体的非线性特征转换函数求得转换后特征的内积，而可以直接在原始特征空间内求解特征内积，在进行核函数变换得到目标值。

能够顺利采用核技巧的根本原因在于出现了样本特征间的内积，这也意味着核技巧是一种通用的特征转换技巧，可用于各类学习模型。