支持向量机

对于所有的数据点，其到分割面的距离为

$$\frac{\lvert wx+b \rvert}{\lVert w\rVert}$$
假设完全线性可分，同时假设支持向量距离分割面的距离为
$$\frac{k}{\lVert w\rVert}$$
那么，对于其他所有的点，其距离分割面的距离应大于k，即：
$$for\ y_i = 1:\quad wx_i+b > k$$ $$for\ y_i = -1:\quad wx_i+b < -k$$
合并到一起，即：
$$y_i *(wx_i+b) > k$$
至此，支持向量机的目标函数就生成了：
$$w,b\ = \mathop {arg\ max}_{w,b}\ \frac{k}{\lVert w \rVert}$$ $$s.t.\quad y_i *(wx_i+b) > k$$
实践中，令k=1，并且把求极大转化为求极小
$$w,b\ = \mathop {arg\ min}_{w,b}\ \frac{1}{2}w^2$$ $$s.t.\quad y_i *(wx_i+b) > 1$$