复习机器学习算法：SVM

 

SVM的本质是寻找最大间隔的分割超平面。

SVM的假设也是在样本的每个属性前面乘以一个系数，代价函数是基于LR演化而来的。LR中是S型函数的假设，SVM中是分段函数cost的形式，再包括正则项，最后SVM的代价函数为：

 

当C一般要设置地很大,这样子的SVM才能够找到最大间隔的超平面，thetaT*x>=1或者thetaT*x<=-1的时候，我们可以把第一项忽略。这样，转换之后的SVM的目标函数就是我们熟悉的：

我们构建拉格朗日函数：

分别对w和b求偏导，令偏导等于0，回代，可以得到w和b的最优解，如下：

W和b都是alpha表示的，我们使用SMO算法求得alpha。

 

 

利用核函数的概念，解决数据的线性不可分问题。核函数的作用，把显示映射到高维空间转换到隐式映射到高维空间。

 

SVM还可以扩展到多类分类中，利用one vs. one或者one vs. other的规则。

  

SVM的优点：效果较好，既可以适用线性数据，也可以非线性。

缺点：对参数选择敏感。