支持向量机

支持向量机分类

支持向量机(support vector machine, SVM)，相比于传统的BP神经网络，是一种新的机器学习方法，其基础是Vapnik创建的统计学习理论(statistical learning theory,STL)。

统计学习理论采用结构风险最小化(structural risk minimization, SRM)准则，在最小化样本点误差的桶水，最小化结构风险，提高了模型的泛化能力，且没有数据维数的限制。

在进行线性分类时，将分类面取在离两类样本距离较大的地方

进行非线性分类时通过高维空间变换，将非线性分类变成高维空间的线性分类问题

线性可分SVM

目标是寻找满足约束条件下的最优分类超平面

数学语言的问题描述：

该问题可以通过求解Largrange函数的鞍点得到，即

$\Phi (\vec{w},\vec{b},{\alpha }_i)=\frac{1}{2}||\vec{w}|{|}^2-{\sum }_{i=1}^l{\alpha }_i[y_i(\vec{w}{\vec{x}}_i+b)-1]$，$其中，{\alpha }_i>0,i=1,2,...,$