机器学习笔记（二）SVM原理

SVM是非常常用的分类器算法，其能够在二分类问题上有很好的表现，并且具有处理非线性数据的能力。其参数容易调节，但比较容易出现过拟合现象。

SVM原理

SVM最优化问题

SVM 的目标是找到一个由支持向量所确定的超平面，该超平面能够使得各类样本到超平面的距离最远。如图所示：

在m维空间中，任意超平面可以用以下方程来描述：
$$w^{T}x+b=0$$
其中$w$为超平面系数：
$$w=\left(\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_m\end{array}\right)$$
样本$x$同样用列向量表示：
$$x=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_m\end{array}\right)$$
那么样本$x$到超平面的距离可以表示为：
$$\frac{\left|w^{T}x+b\right|}{\Vert w\Vert }$$
其中$$\Vert w\Vert =\sqrt{w_1^2+\dots w_n^2}$$
支持向量到超平面的距离为1，非支持向量的样本到超平面的距离大于1，于是有：
$$\{\begin{array}{l}{w}^{T}x+b\ge 1y=1\\ w^{}\end{array}$$