统计学习方法——支持向量机

支持向量机是一种二分类模型，他的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大时它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器，支持向量机的学习策略就是间隔最大化，课形式化为一个求解凸二次规划问题，也等价于正则化的合页损失函数的最小化问题，支持向量机的学习算法是求解凸二次规划的最优化算法。

SVM中四个问题：

①SVM思想；间隔最大化。

②核函数：将原空间的数据映射到新空间，然后再新空间里用线性分类学习方法从训练数据中学习分类模型。

③拉格朗日对偶性；将w的计算提前并消除w，使得优化函数变为拉格朗日乘子的单一参数优化问题。

④SMO：序列最小最优化算法，针对对偶问题的计算

一、支持向量机的框架原理

w作用：规范化

二、拉格朗日对偶性原理

 2.2 对偶公式的推到

（1）求min L（w,b,a）

将拉格朗日函数L（w,b,a）分别对w，b求偏导数并令其等于0

将上式结果带入L（w,b,a）中，即得

即：

（2）求minL（w,b,a）对a的极大，即是对偶问题——采用SMO算法

 

 三、SVM学习算法

参考：http://www.cnblogs.com/pinard/p/6097604.html

3.1 线性可分SVM

3.2 线性SVM

3.3 非线性SVM

 

四、SMO算法

暂定

参考：https://blog.csdn.net/v_july_v/article/details/7624837

参考：http://www.cnblogs.com/pinard/