2021-09-04

SVM学习笔记

1.svm简述
SVM的全称是Support Vector Machine，即支持向量机，主要用于解决模式识别领域中的数据分类问题，属于有监督学习算法的一种。

支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力（或称泛化能力）。

2.拉格朗日乘子法
基本的拉格朗日乘子法(又称为拉格朗日乘数法)，就是求函数 f(x1,x2,…) 在 g(x1,x2,…)=0 的约束条件下的极值的方法。其主要思想是引入一个新的参数 λ （即拉格朗日乘子），将约束条件函数与原函数联系到一起，使能配成与变量数量相等的等式方程，从而求出得到原函数极值的各个变量的解。拉格朗日乘子是数学分析中同一名词的推广。

假设需要求极值的目标函数 (objective function) 为 f(x,y) ，约束条件为 φ(x,y)=M 。

设 g(x,y)=M-φ(x,y) ，定义一个新函数F(x,y,λ)=f(x,y)+λg(x,y) ，则用偏导数方法列出方程：

∂F/∂x=0

∂F/∂y=0

∂F/∂λ=0

求出 x,y,λ 的值，代入即可得到目标函数的极值

扩展为多个变量的式子为：

F(x1,x2,…λ)=f(x1,x2,…)+λg(x1,x2…)

则求极值点的方程为：

∂F/∂xi=0（xi即为x1、x2……等自变量）

∂F/∂λ=g(x1,x2,…)=0

另外，可以将这种把约束条件乘以 λ （即不定乘子）后加到待求函数上的求极值方法推广到变分极值问题及其它极值问题当中，理论力学当中对非完整约束的处理方法就是利用变分法当中的拉格朗日乘子法。

3.核函数
我们会经常遇到线性不可分的样例，此时，我们的常用做法是把样例特征映射到高维空间中去。但进一步，如果凡是遇到线性不可分的样例，一律映射到高维空间，那么这个维度大小是会高到可怕的，而且内积方式复杂度太大。此时，核函数就隆重登场了，核函数的价值在于它虽然也是讲特征进行从低维到高维的转换，但核函数绝就绝在它事先在低维上进行计算，而将实质上的分类效果表现在了高维上，也就如上文所说的避免了直接在高维空间中的复杂计算。

几种常用核函数：

h度多项式核函数（Polynomial Kernel of Degree h）

高斯径向基和函数（Gaussian radial basis function Kernel）

S型核函数（Sigmoid function Kernel）

图像分类，通常使用高斯径向基和函数，因为分类较为平滑，文字不适用高斯径向基和函数。没有标准的答案，可以尝试各种核函数，根据精确度判定。

4.松弛变量
数据本身可能有噪点，会使得原本线性可分的数据需要映射到高维度去。对于这种偏离正常位置很远的数据点，我们称之为 outlier ，在我们原来的 SVM 模型里，outlier 的存在有可能造成很大的影响，因为超平面本身就是只有少数几个 support vector 组成的，如果这些 support vector 里又存在 outlier 的话，其影响就很大了。

因此排除outlier点，可以相应的提高模型准确率和避免Overfitting的方式。

解决多分类问题：

经典的SVM只给出了二类分类的算法，现实中数据可能需要解决多类的分类问题。因此可以多次运行SVM，产生多个超平面，如需要分类1-10种产品，首先找到1和2-10的超平面，再寻找2和1,3-10的超平面，以此类推，最后需要测试数据时，按照相应的距离或者分布判定。

5.SVM与其他机器学习算法对比(图)：