《机器学习技法》学习笔记01——线性SVM

http://blog.csdn.net/u011239443/article/details/76572743

最大间距分离超平面

胖的超平面具有更好的错误容忍性。

我们目标就是找到能一个超平面，到各个点$x_n$到w最小的距离尽可能的大。而且w需要能正确划分，即 label $y_n$ 需要和计算出来的结果$w^Tx_n$同号。

标准最大间距问题

我们把$w^Tx_n$拆分：

得到$w^Tx+b$

• 计算x到超平面$w^Tx' + b = 0$的距离：

x’和x”是超平面上的任意两个点：

所以，w的超平面的法向量，则得出距离：

由于：

所以我们可以把距离写成：

于是问题变成了：

由于：

超平面不会因系数而改变，所以我们可以对$w^Tx+b$进行任意放缩，最终使得：

问题就变成了：

$y_n(w^Tx_n+b)$最小也要等于1，所以条件$y_n(w^Tx_n+b)>0$可以去掉，问题变成了：

我们将条件放大成：

我们只要证明，不可能所以的$y_n(w^Tx_n+b)$都大于1，那么放大后的条件就和原来的条件等价了。

• 证明：
  假设$y_n(w^Tx_n+b)$都大于1，最优解(b,w)使得$y_n(w^Tx_n+b) >= c > 1$。
  则存在$(b_2,w_2) = (b/c ,w/c)$使得$y_n(w_2^Tx_n+b_2)>=1$。
  但是$1/||w_2|| > 1/||w||$，所以(b,w)不是最优解，即假设不成立。

再经过一些变换，我们的问题变成了：