机器学习笔记（二）

4.SVM

SVM（支持向量机）

包括：线性可分支持向量机（硬间隔最大化）；
线性支持向量机（近似线性可分，软间隔最大化）
非线性支持向量机（kernel trick）

如图所示的分类演示。代码来源：机器学习实战。

图中圈出来的正是所谓的支持向量。SVM是一种决策机器，只提供分类的结果，并不提供后验概率。

补充一下（PRML）：分类问题划分为2个阶段，推断阶段和决策阶段。推断阶段，我们使用训练数据学习后验概率模型。决策阶段使用这些后验概率进行分类。还有一种方式，同时解决两个问题，简单学习一个函数，做判断。该函数又称为判别函数。
相应的直接使用判别函数的有很多缺点，而使用后验概率有一下优点（具体见PRML 1.5节）：
1、最小化风险。
2、拒绝选项
3、补偿先验概率

线性分类问题模型如：

$y(x,w)=w^T x+b$(把b截距项拿出来)

假设空间是线性可分的，分离超平面 $w^T x+b=0（2维平面：w_1x_1+w_2x_2+b=0）$

相应的决策函数$f(x)=sign(w^T x+b)$，$w^T x+b>0$去正例（y=+1），反之取负例（y=-1）。

如图很明显的，我们现在想让$w^T x+b=-1$和$w^T x+b=1$之间的距离最大化。

并且，对于所有的样本$y(w^T x+b)>=1$（限制条件）。最小取1的点，即支持向量点。使分类效果更好，实际上是使两条平行线之间的距离最大，两平行线间的距离公式：即

$l=\frac{|1-(-1)|}{||w||}=\frac{2}{||w||}$

即转换成求w模的最小值。也是$min\frac{1}{2}||w||^2$

引入拉格朗日函数，$a_n$>=0是拉格拉日乘子,限制条件$y(w^T x+b)>=1$，根据拉格朗日对偶性，原问题的对偶问题是极大极小问题，即先求$L(w,b,a)$对w,b的极小值，再求对$a_n$的极大值。
步骤1
求极小：

$L(w,b,a)=\frac{1}{2}||w||^2+\sum _{n=1}^Na_n\{y(w^T x+b)-1\}$

令$L(w,b,a)$的导数为0 ，对我们要求的分界面参数，求导等于0，得到：

$w=\sum _{n=1}^Na_ny_nx_n$

$0=\sum _{n=1}^Na_ny_n$

代入原式。得到：

$min_{w,b}L(w,b,a)=-\frac{1}{2}\sum _{m=1}^M\sum _{n=1}^Na_ma_ny_my_n(x_mx_n)+\sum _{n=1}^Na_n$

步骤2：求$min_{w,b}L(w,b,a)$对a的极大值。注意限制条件：

1. $0=\sum _{n=1}^Na_ny_n$

2. $a_n$>=0

具体推导，见统计学习方法。
常用SMO，算法来寻找a值。统计学习方法（P128）