机器学习4：支持向量机（SVM）

支持向量机(Support Vector Machine )是机器学习中经典的分类算法。

如上图所示，其目的是找到尽量宽（与中间边界最近的样本点尽可能远）的决策边界将两类样本分开，在高维的数据中决策边界是一个超平面。

距离的计算：

计算超平面最近样本点的距离：

• 超平面表达式为：
  $$w^{T}x+b=0$$
• 假设超平面中的一个点$x^{{}^{\prime }}$，则$w^T{x}^{{}^{\prime }}=-b$ 。
• 则距离$d=\Vert x-x^{{}^{\prime }}\Vert \ast cos\theta$
• 可得$d(x,b,w)=\left|\frac{w^T}{\Vert w\Vert }(x-x^{{}^{\prime }})\right|=\frac{1}{\Vert w\Vert }\left|w^{T}x+b\right|$

数据标签定义:

优化的目标:

目标函数:

拉格朗日乘子法:

SVM求解:

soft-margin:

核变换：