SVM理解与参数选择（kernel和C）

大部分资料都在讲SVM的kernel等看似高大上的东西，却忽略了SVM的模型表达式这一关键，造成大家看SVM资料觉得云里雾里的感觉。
本文舍末求本，从SVM的模型理解开始，带大家理解SVM的基本思想，理解各个参数对SVM的性能影响。

直观理解SVM

以二维平面上的分类为例，下面给出了不同的分类可能，哪个才是最优的分类呢？

可以看出第一种分类方法是最好的，为什么呢？因为它的分类平面到两类边界的距离（Margin）最大。

所以SVM也叫Large Margin分类器。

SVM的模型表达式

首先，线性模型的表达式为

$$h_{ \theta } (x)= \theta_{0}+ \theta_{1}x_{1} + \theta_{2}x_{2} + . . . + \theta_{n}x_{n}$$ [1]

其中

• $x_{1}$~$x_{n}$就是n个特征，作为模型的输入
• $\theta_{0}$~$\theta_{n}$，就是线性模型的n+1个参数

把线性模型表达式中的$x_{i}$替换成$f_{i}$，就得到了SVM模型的表达式

$$h_{ \theta } (x)= \theta_{0}+ \theta_{1}f_{1} + \theta_{2}f_{2} + . . . + \theta_{n}f_{n}$$ [2]

其中
* $f_{i}$是$x_{i}$的核函数，也就是$x_{i}$的非线性多项式项。例如 $f_{1}=x1*x2$

可见
* SVM和线性回归是非常类似的
* 由于有了非线性多项式项，SVM对非线性的拟合能力很强，但已被噪声影响（拟合能力过强）

理解了SVM的模型，也就不觉得它有多复杂了。

SVM与线性回归的代价函数有很大的不同。

SVM的Cost Function（代价函数）

下面对比SVM与Logistic回归（把线性回归的结果作为Logistic函数的输入）的代价函数区别。（代价函数的物理含义就是预测值与真实值之间的误差）

Logistic回归的代价函数

$$J(\theta) = - (ylog(h(x))+(1-y)log(1-h(x)))$$

将$h(x)$替换为Logistic函数，就得到其代价函数为：

$$J(\theta) = - (ylog(\frac{1}{1+{e}^{-{\theta}^{T}x}})+(1-y)log(1-\frac{1}{1+{e}^{-{\theta}^{T}x}}))$$

SVM的代价函数

SVM的代价函数与Logistic回归的代价函数比较接近。下图中的蓝色曲线是Logistic归回代价函数中的两个表达式。

红色曲线是逼近蓝色函数的函数。

用cost1(z)和cost0(z)代替h(x)，可得SVM的代价函数

$$J(\theta) = C\sum_{1}^{m}({y}^{(i)}cost1({\theta }^{T}{x}^{(i)})+(1-{y}^{(i)})cost0({\theta }^{T}{x}^{(i)}))+\frac{1}{2}\sum_{1}^{n}({{\theta }_{j}}^{2})$$

其中

• C类似于正则化中$\frac{1}{\lambda }$的作用。C越大，拟合非线性的能力越强。

可见，SVM的代价函数与Logistic回归的代价函数也是很类似的。

核函数（Kernel）

SVM模型表达式中的$f_{i}$是$x_{i}$的核函数。核函数能提高模型的Feature维度（低维到高维），从而使SVM具有较好的非线性拟合能力。

核函数效果的直观理解

假设一个SVM模型的表达式如下$$

$$h(x)={\theta }_{0}+{\theta }_{1}{f }_{1}+{\theta }_{2}{f }_{2}+{\theta }_{3}{f }_{3}$$

模型的输入x是二维的（用x1和x2表示），先手工标记三个点

对每一个模型的输入x，另核函数为x与三个点的相似度：

$${f }_{1}=similarity(x, {l}^{(1)})=exp(-\frac{ {\parallel x-{l}^{(1)} \parallel}^{2} }{2{\sigma }^{2}})$$
$${f }_{2}=similarity(x, {l}^{(2)})=exp(-\frac{ {\parallel x-{l}^{(2)} \parallel}^{2} }{2{\sigma }^{2}})$$
$${f }_{3}=similarity(x, {l}^{(3)})=exp(-\frac{ {\parallel x-{l}^{(3)} \parallel}^{2} }{2{\sigma }^{2}})$$

若${l}^{(1)}=[3;5]$，$\sigma=1$，则${f }_{1}=exp(-{(x1-3)}^{2}-{(x2-5)}^{2})$。这是一个三维曲面。

核函数将二维的x提高到了三维空间。

高斯核

上面的相似度函数，就是高斯核，其定义为

$${f }_{i}=similarity(x, {l}^{(i)})=exp(-\frac{ {\parallel x-{l}^{(i)} \parallel}^{2} }{2{\sigma }^{2}})$$

由其定义可知，如果x与手工选取的点${l}^{(i)}$很接近，则${f }_{i}=1$。否则${f }_{i}=0$

且高斯核函数的最大值为1，最小值为0。

SVM的参数

综上，SVM最重要的参数有2个：C与核函数中的$\sigma$

• C类似于正则化中$\frac{1}{\lambda }$的作用。C越大，拟合非线性的能力越强。
  
  • large C: High Variance
  • small C: High Bias

$\sigma$的大小对核函数形状的影响关系见下图

• $\sigma$越大，f越平滑，非线性效能越小，对噪声越不敏感
  
  • large $\sigma$: High Bias
  • small $\sigma$: High Variance

注意

使用SVM时，有两个点要注意：

• 若使用核函数，一定要对Feature做Feature Scaling(Normalization)
• 若训练集m太小，但Feature数量n很大，则训练数据不足以拟合复杂的非线性模型，这种情况下只能用linear-kernel（就是${f }_{i}={x }_{i}$）不能用高斯核

参考

• Andrew NG. machine learning class at coursera
• 详解梯度下降法求解线性模型参数, http://blog.csdn.net/ybdesire/article/details/52895274