机器学习svm

学习内容
SVM 硬间隔原理
SVM 软间隔
SMO 求解SVM
代码设计
1、硬间隔
本文是需要一定基础才可以看懂的，建议先看看参考博客，一些疑惑会在文中直接提出，大家有额外的疑惑可以直接评论，有问题请直接提出，相互交流。

SVM-统计学习基础
一开始讲解了最小间距超平面：所有样本到平面的距离最小。而距离度量有了函数间隔和几何间隔，函数间隔与法向量w和b有关，w变为2w则函数间距变大了，于是提出了几何距离，就是对w处理，除以||w||，除以向量长度，从而让几何距离不受影响。

但是支持向量机提出了最大间隔分离超平面，这似乎与上面的分析相反，其实这个最大间隔是个什么概念呢？通过公式来分析一下，正常我们假设超平面公式是：
wTx+b=0//超平面
maxw,bγ s.t.yi(w||w||xi+b||w||)>γ
也就是说对于所有的样本到超平面距离 都大于γ，那这个γ如何求解，文中约定了概念支持向量：正负样本最近的两个点，这两个点之间的距离就是γ，那么问题来了，这中间的超平面有无数个，如何确定这个超平面呢？于是我们可以约束这个超平面到两个最近的点的距离是一样的。 上图中两个红色菱形点与一个蓝色实心圆点就是支持向量，通过这个求解目标，以及约束条件来求解这个超平面。书中有完整的公式装换以及证明这个超平面的唯一性。

这里要讲解一个样本点到直线的距离， 正常我们可能难以理解公式里y去哪里了，拿二维空间做例子，正常我们说一个线性方程都是y=ax+b，其中a和b都是常量，这个线性方程中有两个变量x和y，转换公式就是y−ax−b=0，从线性矩阵的角度来思考问题就是 y是x1，x是x2，用一个wT来表示这两者的系数，用b代替−b，所以公式就变为了：
wTx+b=0
于是任意一个样本点到超平面的距离是：
r=|wTx+b|||w||
也就是说约束条件中要求>γ，其实就是大于支持向量到超平面的距离。

通过一个例子来看看： 这里例子中有w1,w2，这是因为坐标点是二维的，相当于样本特征是两个，分类的结果是这两个特征的结果标签，所以这里的w就是一个二维的，说明在具体的应用里需要根据特征来确定w的维度。

对偶讲解
其实原始问题是这样的：
maxw,bγ s.t.yi(w||w||xi+b||w||)>γ
利用几何距离与函数距离的关系γ=γ^||w||将公式改为：
maxw,bγ^||w|| s.t.yi(wxi+b)>γ^
函数间隔是会随着w与b的变化而变化，同时将w与b变成λw与λb，则函数间隔也会变成λγ，所以书中直接将γ=1来转换问题。同样的问题又改为：
maxw,b1||w|| s.t.yi(wxi+b)>1
求解最大值改为另一个问题，求解最小值：
min12||w||2 s.t.yi(wxi+b)>1
这就是一个对偶问题的例子，也是书中支持向量机模型的一个目标函数转换的过程，大家可以看看了解一下这个思路。其实书中利用拉格朗日乘子来求解条件极值，这一块在高等数学中多元函数的极值及求解方法中有提到。