机器学习系列-支持向量机

支持向量机

支持向量机（SVM）是基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。

给定训练样本集$D={(x_1,y_1),(x_2,y_2),...,(x_m,y_m)},y_i\in{-1,1}$。分类就是在样本空间找到一个划分超平面$w^Tx+b=0$，将不同类别的样本分开。但这样的平面可能有很多，我们应该努力的找到哪一个？

位于两类训练样本正中间的划分超平面，因为该划分超平面对训练样本局部扰动的容忍性最好。所以样本空间的任意点$x$到超平面$(w,b)$的距离为：$r = \frac{| w^Tx+b |}{||w||}$假设超平面能够将训练样本正确分类。

{ wTx+b≥1,yi=1;wTx+b≤−1,yi=−1;  { w T x +