SVM分类器

支持向量机的目的是为了找到分类间隔最大的分割超平面。
分割超平面即距离所有样本最小距离的值最大的超平面。
一般是通过最大化几何间隔实现。
几何间隔：

$\frac{{y(wx + b)}}{{||w||}}$

由于通过按照一定的比例缩放，我们总可以另$y(wx+1)$为1,从而最大化几何间隔就等价于求解$\frac{1}{||w||}$的最大值。

将其转化为求最小值的问题，可得目标函数：

$\mathop {\min }\limits_{w,b} \frac{1}{2}||w|{|^2}$ s.t $y(wx+b)\ge 1$
其lagrange函数为
$L(w,b,\alpha ) = \frac{1}{2}||w|{|^2} + \sum\limits_i {{\alpha _i}(1 - {y_i}(w{x_i} + b))}$

一、求解线性SVM分类器
原始问题是一个极小极大问题，即先求$\alpha$再求$\omega$和b，其对偶问题为一个极大极小问题（这里的原因在于原始问题为一个凸二次优化问题，因为满足KKT条件C.1）。而且Lagrange函数是一个凸函数，即存在极小值，通过对该函数求导，可以得到对应的极小值点的解。

${\nabla _w}L(w,b,\alpha ) = 0$
${\nabla _b}L(w,b,\alpha ) = 0$
$\alpha_i(y_i(wx+b)-1)=0$
$y_i(wx+b)-1 \ge 0$
$\alpha_i \ge 0$
从而求解该函数的步骤如下：
(1)求解 $\mathop {\min }\limits_{w,b} L(w,b,a)$
由于Lagrange函数为凸函数，所以存在极值点，对 $\omega$和b求导，并令偏导为0
可以得到 $w = \sum {{\alpha _i}y_ix_i}$, ${\sum}{\alpha_iy_i}=0$
(2)将上述式子带入原始问题，原始问题转化为
$\mathop {\max}\limits_{w,b} L(\omega,b,\alpha)=-\frac{1}{2}\sum\sum{\alpha_i\alpha_jy_iy_jx_ix_j}+\sum{\alpha_i}$
s.t. $\sum{\alpha_iy_i}=0$ $\alpha_i\ge0$
(3)将原始问题由求极大转变为求极小，可以得到下面的对偶优化问题
$\mathop {\min}\limits_{w,b} L(\omega,b,\alpha)=\frac{1}{2}\sum\sum{\alpha_i\alpha_jy_iy_jx_ix_j}-\sum{\alpha_i}$
s.t. $\sum{\alpha_iy_i}=0$ $\alpha_i\ge0$
(4)从而可以得到 $\omega$和b的值，及得到最大超平面，从而分类结果为
$f(x)=sign(\sum\alpha_i^*y_i(x·x_i)+b^*$
其中 $\omega^*={\sum}{\alpha_i^*y_ix_i}$和 $b^*=y_i-\sum{\alpha_j^*y_j(x_j·x_i)}$

二、软间隔线性分类器
考虑到噪声的存在，提高目标函数的泛化能力，提出了软间隔最大化。
引进一个松弛变量ξ，使得函数间隔加上松弛变量之后可以大于等于1，目标函数转变为

$\mathop{min{ \frac{1}{2}||\omega||^2+C\sum{\xi_i}}}$
s.t $y_i(\omega·x_i+b) \ge 1-\xi_i$
$\xi_i \ge 0$
从而实现在间隔最大的同时保证错误点最少。其中C是惩罚因子，C大时对误差的惩罚增大，即尽可能避免误分类。当C足够大时，所学习到的分类超平面可以被等价为一个线性分类器。

软间隔分类器的对偶问题是

$\mathop{min{ \frac{1}{2}\sum\sum{\alpha_i\alpha_jy_iy_jx_ix_j}-\sum{\alpha_i}}}$
s.t $\sum\alpha_iy_i = 0$
$0 \le \alpha \le C$
其满足的KKT条件为
${\nabla _w}L(w,b,\alpha,\xi ) = 0$
${\nabla _b}L(w,b,\alpha,\xi ) = 0$
${\nabla _\xi}L(w,b,\alpha,\xi ) = 0$
$\alpha_i(y_i(wx+b)-1+\xi)=0$
$u_i\xi_i = 0$
$y_i(wx+b) \ge 1-\xi$
$\alpha_i \ge 0$
$\xi_i \ge 0$
$u_i \ge 0$

支持向量的概念：
在线性不可分的情况下，对偶问题的解$\alpha^*=(\alpha_1^*,\alpha_2^*, ...\alpha_n^*)^T$中对应$\alpha_i^*>0$的实例被称作支持向量

软间隔线性分类器中的参数变化对决策超平面的影响
下面基于libsvm-3.20进行了一个简单的小实验
1、基于线性核的svm，参数主要有惩罚因子C
1.1、设置C很大，此时近似于一个不带松弛变量的线性svm分类器，可以发现支持向量围绕分割超平面对称分布，在支持向量之外增加同类型样本对分割超平面无影响，在决策边界内部增加样本点会导致分割超平面改变，一般情况下，新增加的样本的会变成支持向量。
1.2、设置C略小，此时SVM对噪点增加了一下容错能力，此时在决策边界内部新增加的样本点距离分割超平面的距离若小于$\frac{\xi_i}{||\omega||}$，则对分割超平面无影响。
2、对偶问题的解$\alpha_i^*$对分类结果的影响。这里因为支持向量满足$0<\alpha \le C$，又因为在软间隔最大化支持向量机的对偶算法求解过程中有一组约束

$\alpha - C - \mu = 0$
其中 $\alpha$是对偶算法的解（可以视为约束条件 $y_i(wx_i+b)-1=0$的参数），C是惩罚因子， $\mu$是松弛变量 $\xi$的参数。
所以
$\alpha < C 时，此时\mu>0，所以\xi=0，从而支持向量x_i在间隔边界上$

$\alpha =C 时，此时\mu=0，所以\xi>0，可以分为以下几种情况：$
（1） $0<\xi<1，分类正确，在间隔边界和分离超平面之间$
（2） $\xi=1，分类正确，在分离超平面上$
（3） $\xi>1，在误分一侧$
3、从 $\omega$的计算公式 $\omega^*=\sum{\alpha_i^*y_ix_i}$，增加 $\alpha$， w增大，从而会有分割超平面斜率增大