机器学习笔记 支持向量机算法

基本思想：定义在特征空间上的间隔最大的线性分类器。主要学习策略为使得间隔最大化，可形式化为一个求解二次规划的问题，等价于正则化的合页损失函数的最小化问题。

 

分类：

线性：线性可分支持向量机、线性支持向量机；

非线性：非线性支持向量机

当训练数据线性可分时，通过硬间隔最大化，学习一个线性的分类器，即线性可分支持向量机；

当训练数据近似线性可分时，通过软间隔最大化，学习一个线性的分类器，即线性支持向量机；

当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。

 

线性可分支持向量机：

目标：求解能够正确划分训练数据集，且几何间隔最大的分离超平面。这里的几何间隔最大化又称为硬间隔最大化。

输入：训练集T；

输出：分离超平面和分类决策函数；

算法重点：构造并且求解约束最优化问题；

 

线性支持向量机：

与线性可分支持向量机不同，样本数据近似线性可分，所以样本不能完全满足线性约束条件，所以需要对每个样本点引进一个松弛变量，修改最优化目标的约束。此时对应于硬间隔最大化，变为软间隔最大化，其余求解思想基本相同。

 

非线性支持向量机：

线性切割不再适用，引入核函数，其余求解方法与上述方法相同。常用的核函数有：多项式核函数、高斯核函数。

 

支持向量回归：

支持向量机不仅可以解决分类的问题，还可以解决回归的问题。基本思想是允许f(x)与y之间存在一定误差，未超过则认为预测准确，但超过一定误差标准记为偏差。偏差损失大小，为支持向量回归问题的损失函数，令其最小化，是回归学习的主要切入口。

 

SVM的优缺点：

优点：

本质上是非线性方法，样本量小时，容易抓住数据和特征之间的非线性关系，即较能解决非线性问题；

可以避免神经网络结果选择和局部极小点问题；

可以提高泛化性能；

可以解决高维问题；

 

缺点：

对缺失数据敏感；

对非线性问题没有通用的解决方案，需谨慎选择核函数；

计算复杂度高，主流算法复杂度O(n^2);

存在两个对结果影响相当大的超参数（如果用RBF核，是核函数的参数gamma、惩罚项C），超参数无法通过概率方法求解，只能通过穷举试验来求出，计算时间高于不少类似的非线性分类器。