机器学习——SVM(3 Kernel SVM)

Kernel的概念

Kernel = Transform + inner Product

在SVM的对偶问题中，$q_{n,m}=y_n{y}_m{z}_n^T{z}_m$在计算内积$z_n^T{z}_m(\varphi (x_n{)}^T\varphi (x_m))$ 时没有真正移除对$\tilde{d}$的依赖，这里以Kernel的方式进行计算，以此来替代在z空间里做内积，可以很明显的提高计算效率。常用的kernel有多项式kernel(Polynomial Kernel)和高斯kernel(Gaussian Kernel)。

多项式kernel(Polynomial Kernel)

考虑一个2次的多项式转换(2nd order polynomial transform)，即，${\varphi }_2(x)=(1,x_1,\cdots ,x_d,x_1^2,x_1{x}_2,\cdots ,x_1{x}_d,x_2{x}_1,x_2^2,\cdots ,x_2{x}_d,\cdots ,x_d^2)$
,有以下的转换，

$$\begin{array}{l}{\varphi }_2(x{)}^T{\varphi }_2(x^{{}^{\prime }})=1+\sum _{i=1}^d{x}_i{x}_i^{{}^{\prime }}+\sum _{i=1}^d\sum _{j=1}^d{x}_i{x}_j{x_i}^{{}^{\prime }}{x_j}^{{}^{\prime }}\\ \\ =1+\sum _{i=1}^d{x}_i{x}_i^{{}^{\prime }}+\sum _{i=1}^d{x}_i{x_i}^{{}^{\prime }}\sum _{j=1}^d{x}_j{x_j}^{{}^{\prime }}\\ \\ =1+x^T{x}^{{}^{\prime }}+(x^T{x}^{{}^{\prime }})(x^T{x}^{{}^{\prime }})\end{array}$$

对于二次多项式转换所对应的kernel为，
$$K_{{\Phi }_2}(x,x^{\prime })=1+(x^T{x}^{\prime })+(x^T{x}^{\prime }{)}^2$$

再一般点，
$$K_2(x,x^{\prime })=(1+\gamma x^T{x}^{\prime }{)}^2,\gamma >0$$

再一般点，即可得到多项式Kernel(Polynomial Kernel),

$$K_Q(x,x^{\prime })=(\zeta +\gamma x^T{x}^{\prime }{)}^Q,\gamma >0,\zeta \ge 0$$

这里的参数$(\varsigma ,\gamma )$影响SVM边界的属性。

常用的多项式Kernel有Linear Kernel,即，$K_1=x^T{x}^{\prime }$。

Gaussian Kernel(Radial Basis Function kernel , RBF kernel)

高斯核函数实际上表示的是一个无限维度的转换，即表示的是以下转换，
$$\Phi (x)=\exp (-x^2)(1,\sqrt{\frac{2}{1!}}x,\sqrt{\frac{2^2}{2!}}{x}^2,\cdots )$$
即，

$$\begin{array}{l}K(x,x^{\prime })=\exp (-(x-x^{\prime }{)}^2)\\ \\ =\exp (-x^2)\exp (-{x^{\prime }}^2)\exp (2x{x}^{\prime })\\ \\ \stackrel{Taylor}{=}\exp (-x^2)\exp (-{x^{\prime }}^2)(\sum _{i=0}^{\infty }\frac{{(2x{x}^{\prime })}^i}{i!})\\ \\ =\sum _{i=0}^{\infty }(\exp (-x^2)\exp (-{x^{\prime }}^2)\sqrt{\frac{2^i}{i}}\sqrt{\frac{2^i}{i}}{x}^i{x^{\prime }}^i)\\ \\ =\Phi (x{)}^T\Phi (x^{\prime })\end{array}$$

更一般的，高斯核的形式为，

$$K(x,x^{\prime })=\exp (-\gamma {\Vert x-x^{\prime }\Vert }^2),\gamma >0$$

高斯核用在SVM里的形式为，

$$\begin{array}{l}{g}_{SVM}(x)=sign(\sum _{SV}{\alpha }_n{y}_{n}K(x_n,x)+b)\\ \\ =sign(\sum _{SV}{\alpha }_n{y}_n\exp (-\gamma {\Vert x-x_n\Vert }^2)+b)\end{array}$$

由上式，可看出，sign里面的式子实际上是许多个高斯函数的线性组合，这些高斯函数是以支持向量（SVs）为均值，即中心在SVs处的高斯函数，所以Gaussian Kernel又叫做Radial Basis Function(RBF) Kernel。

对于高斯核参数$\gamma$的选取，$\gamma$越大，所得到的SVM的边界就越复杂，越容易过拟合。

Kernel SVM

在SVM中，总共有3处使用到了Kernel，

• $q_{n,m}=y_n{y}_m{z}_n^T{z}_m=y_n{y}_{m}K(x_n,x_m)$
• 计算b(from SV$(x_s,y_s)$),$$b=y_s-w^T{z}_s=y_s-(\sum _{n=1}^N{\alpha }_n{y}_n{z}_n{)}^T{z}_s=y_s-\sum _{n=1}^N{\alpha }_n{y}_n(K(x_n,x_s))$$
• 得出结果$g_{SVM}$，$$g_{SVM}(x)=sign(w^T\Phi (x)+b)=sign(\sum _{n=1}^N{\alpha }_n{y}_{n}K(x_n,x)+b)$$

Kernel Hard-Margin SVM Algorithm
1. $q_{n,m}=y_n{y}_{m}K(x_n,x_m);p=-1_N;(A,c)$ 2.$\alpha \leftarrow QP(Q_D,p,A,c)$ 3.$b\leftarrow (y_s-\sum _{SV}{\alpha }_n{y}_{n}K(x_n,x_s)),SV(x_s,y_s)$ 4.返回参数$SVs\&{\alpha }_n\&b$，对于一个新的数据x,其预测值为，$g_{SVM}(x)=sign(\sum _{SV}{\alpha }_n{y}_{n}K(x_n,x)+b)$