SVM原理

主要学习内容

1.svm简述

2.拉格朗日乘子法

3.核函数

4.SMO算法

5.结合代码理解

---

1.svm简述

SVM的全称是Support Vector Machine，即支持向量机，主要用于解决模式识别领域中的数据分类问题，属于有监督学习算法的一种。

支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力（或称泛化能力）。

2.拉格朗日乘子法

基本的拉格朗日乘子法(又称为拉格朗日乘数法)，就是求函数 f(x1,x2,...) 在 g(x1,x2,...)=0 的约束条件下的极值的方法。其主要思想是引入一个新的参数 λ （即拉格朗日乘子），将约束条件函数与原函数联系到一起，使能配成与变量数量相等的等式方程，从而求出得到原函数极值的各个变量的解。拉格朗日乘子是数学分析中同一名词的推广。

假设需要求极值的目标函数 (objective function) 为 f(x,y) ，约束条件为 φ(x,y)=M 。

设 g(x,y)=M-φ(x,y) ，定义一个新函数F(x,y,λ)=f(x,y)+λg(x,y) ，则用偏导数方法列出方程：

∂F/∂x=0

∂F/∂y=0

∂F/∂λ=0

求出 x,y,λ 的值，代入即可得到目标函数的极值

扩展为多个变量的式子为：

F(x1,x2,...λ)=f(x1,x2,...)+λg(x1,x2...)

则求极值点的方程为：

∂F/∂xi=0（xi即为x1、x2……等自变量）

∂F/∂λ=g(x1,x2,...)=0

另外，可以将这种把约束条件乘以 λ （即不定