机器学习 之 SVM

SVM是纯粹的分类模型

支持向量机（support vector machines, SVM）是一种二分类模型，追求最大明显划分。

感知机 （perceptron）：感知机是神经网络（深度学习）的起源算法，追求完全划分，先讲这个。

感知机是二分类的线性模型，
其输入是实例的特征向量，
输出的是事例的类别，分别是+1和-1，属于判别模型。
感知机学习的目标是求得一个能够将训练数据集正实例点和负实例点完全正确分开的分离超平面。如果是非线性可分的数据，则最后无法获得超平面。

假设超平面为 $h=(w_0,w_1...w_m{)}^T(1,x_1...x_m)$，那么样本点p到超平面(一般比当下空间仅仅少一维)的距离如下：
$$d=\frac{\text{x}\cdot \text{w}}{||\text{w}||}$$

实际上这个公式也可以当作SVM分类函数，大于0就代表正，小于0就代表负。分子是普通的带入，分母是p2范数，就是$\sqrt{w_0^2+w_1^2+...+W_m^2}$，感知机就是不断缩小误分类点到超平面的距离，直到没有任何误分类点，整体就可以了。

如果不是超平面就不会收敛了。因为感知机学习算法最终的终止条件是所有的输入都被正确分类，即不存在误分类的点。因此忽略$\frac{1}{||w||}$(分母)也不会对感知机学习算法的执行过程产生任何影响。反而还能简化运算，提高算法执行效率(SVM运算特别困难)。为什么能丢掉分母呢？因为这里是“误分类驱动”原则，分母不影响误分类，实际上是说不太明白了，但总之没差。

因为只有误分类的M集合里面的样本才能参与损失函数的优化，因此$w,b$取误差点距离和最小时的$w,b$，损失函数也就是
L