SVM一学就会

1.函数最优化问题

1.1 无约束条件的最优化问题

1.2 有约束条件的最优化问题

以下约束条件中没有考虑 >0 的情况，因为可以由小于等于0反推出来。

将以上最优化问题命名为原始（最优化）问题。

凸优化问题：对于上述有约束条件的最优化问题，目标函数 f(x) 和约束函数 都是R上连续可微的凸函数，是R上的仿射函数（满足）

1.3 求解最优化问题

方法：梯度下降、L-BFGS、IIS等

1.4 拉格朗日函数

拉格朗日函数是将原始问题的f(x)和约束条件进行整合，

使有约束条件的最优化问题>>>>>转为>>>>>无约束条件的最优化问题。

使原始问题的一次优化问题>>>>>转为>>>>>极小极大的二次优化问题。

二次规划（quadratic programming ）

在约束最优化问题中，常利用拉格朗日对偶性（Lagrange duality）将原始问题转换为对偶问题，通过求解对偶问题得到原始问题的解。

拉格朗日乘子（Lagrange multiplier）:

拉格朗日乘子向量：

拉格朗日函数的特性

极小极大

由拉格朗日函数的特性可知，当x满足原始问题约束时， 就是原始问题的f(x)，此时进行极小化就等同于对原始（最优化）问题进行极小化，解是相同的，即：

对偶问题

被称为拉格朗日函数的极大极小问题，也被称为原始问题的对偶问题。

 

定义 为对偶最优化问题的最优解，当 f(x)和为凸函数，是仿射函数时，有：

，其中的约束条件为KKT（Karush-Kuhn-Tucker）条件：

 

 

2.Support Vector Machine

SVM：线性的分类（二分类）算法。

基本思想：求解能够正确划分训练数据集，且几何间隔最大的分离超平面。间隔最大化，意味着以充分大的确信度对训练数据进行分类。

支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势。

2.1 线性可分SVM

线性可分性

给定一个数据集，如果存在某个超平面，满足：

• 将数据集的正实例点和负实例点完全正确的划分到超平面的两侧；
• 对所有