(斯坦福机器学习笔记)支持向量机

有了前4篇笔记中的对偶问题，拉格朗日函数，核方法的知识，就可以学习支持向量机的算法了。

首先要做一个改变写法的声明。$y$现在取${\{-1,1\}}$。

对于一个线性可分的问题，用$y=w^Tx+b$作为分隔面，将两类样本分开。

定义函数间隔$l^{i}=y^{i}(w^Tx^{i}+b)$，$i$表示学习样本的序号。

定义函数间距$l=\min\limits_i l^i$，即函数间距是离分隔面最近的样本到分隔面的间距

函数间隔和函数间距是不确定的，因为让$w$和$b$成倍的增大或减小，分隔面的分类性质不变，但会使函数间隔和函数间距改变。因此要加入约束$||w||=1$。

此时问题是$\max\limits_{w,b}l$，$s.t.\ \ \ y^i(w^Tx^i+b)\geq l$，且$||w||=1$。用语言表示即：让离分隔面最近的样本到分隔面的间距最大。注意：还记得之前的logistic回归中，所有样本点对决定分隔面的位置都做贡献。而在支持向量机中，决定分隔面的位置的点仅仅是离分隔面距离最近的点。

该问题不是凸优化问题，需要做处理。因为$||w||=1$，原问题变成:
$\max\limits_{w,b}\frac{l}{||w||}$，$s.t.\ \ \ y^i(w^Tx^i+b)\geq l$

可以用过调整$w$和$b$，将$l$的值变为1，进而问题变成:
$\min\limits_{w,b} \frac{1}{2}||w||^2 \ \ \ \ s.t. \ \ \ y^i(w^Tx^i+b)\geq 1$ $i$是学习样本的序列。这就是支持向量机的问题了。

要解该问题，构造拉格朗日函数$L(w,b,a)=\frac{1}{2}||w||^2-\sum\limits_{i=1}^ma_i[y^i(w^Tx^i+b)-1]$

找该问题的对偶问题，令$\frac{\partial L}{\partial w}=0$和$\frac{\partial L}{\partial b}=0\ \ \ \ $得$w_n=\sum\limits_{i=1}^ma_iy^ix_n^i$，$\sum\limits_{i=1}^ma_iy^i=0$

将上面两个式子带入$L(w,b,a)$，得到对偶问题
$\max\limits_a\sum\limits_{i=1}^ma_i-\frac{1}{2}\sum\limits_{i=1}^{m}\sum\limits_{j=1}^{m}a_ia_jy^iy^j<x^j,x^i>\ \ \ \ \ \ \ \ \ \ \ s.t.\ \ a\geq0，\sum\limits_{i=1}^ma_iy^i=0$
其中 <a,b> <script type="math/tex" id="MathJax-Element-15745"> </script>表示 $a$和$b$的内积。在这里可以用核方法，就是用核函数 $K(x,z)$替代内积。

因为$x,y$是已知的，得到了$a$就得到了$w$。而$b$的公式是

$$b=-\frac{\max\limits_{i:y^i=-1}(w^*)^Tx^i+\min\limits_{i:y^i=1}(w^*)^Tx^i}{2}$$

可以用牛顿法，梯度下降法求解$a$，也可以用更快的方法SMO。该问题是凸优化问题，可以保证得到最优解。

=============================软间隔分类器===========================
以上讨论的是线性可分问题。即便是运用了核方法，也不能保证问题一定是线性可分的。所以要将原问题做改动。问题变成：
$\min\limits_{w,b} \frac{1}{2}||w||^2+C\sum\limits_{i=1}^{m}\epsilon_i \ \ \ \ s.t. \ \ \ y^i(w^Tx^i+b)\geq 1-\epsilon_i\ \ \ \ \ \epsilon_i\geq0$

他的对偶问题是：
$\max\limits_a\sum\limits_{i=1}^ma_i-\frac{1}{2}\sum\limits_{i=1}^{m}\sum\limits_{j=1}^{m}a_ia_jy^iy^j<x^j,x^i>\ \ \ \ \ \ \ \ \ \ \ s.t.\ \ C\geq a\geq0，\sum\limits_{i=1}^ma_iy^i=0$

=======================================SMO==========================
待续