SVM从入门到精通(一)

我是标题党【doge】······
最近在看SVM算法的原理，之前只知道用，但是对理论推导并不是很明白，这次算是复习一下，加深理解。

从感知机说起

要深入理解SVM，首先要从感知机说起。
什么是感知机呢？

感知机(perceptron)是二类分类的线性分类模型。
假设输入空间为$\chi\subseteq R^n$,输出空间是$y = {-1,+1}$.由输入空间到输出空间的如下函数$f(x) = sign(\omega \cdot x + b)$称为感知机。

也就是说，我的$\omega$参数和$b$参数，确定了一个分离超平面，将训练数据集划分为两个部分，分别为正类和负类。因此，我们需要知道$\omega$和b的值，确定这个超平面，那么来了一个新的数据，通过计算和这个超平面的距离，就知道它属于哪个类别了。

因此，我们的任务就变成了求$\omega$和$b$的值是什么，从而确定分离超平面。
在这里，我们有一个前提条件，就是数据集是线性可分的。

那么如何求这两个参数呢？我们需要确定一个学习策略，即定义经验损失函数并将其极小化。也就是我们常说的loss.

在感知机中，我们选择的loss为误分类点到超平面的总距离，让这个总距离最小，这就是我们的优化目标。特征空间中任意一点$x_0$到超平面的距离为：

$$\frac{1}{\lVert \omega \rVert}\lvert \omega \cdot x_0 + b \rvert$$
对于误分类的数据 $(x_i,y_i)$来说， yi