SVM算法及高斯核函数 汉语版

SVM
1.介绍
支持向量机SVM是一种有监督的机器学习算法，是一个非常经典且高效的分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。
2.SVM思想
a.线性
假设给定一个特征空间上的训练数据集：

其中，

xi为第i个特征向量,yi为类标记,当它等于+1时为正例；为-1时为负例。再假设训练数据集是线性可分的。
几何间隔：对于给定的数据集 T 和超平面w*x+b=0 ,定义超平面关于样本点(xi,yi)的几何间隔为：


超平面关于所有样本点的几何间隔的最小值为：

根据以上定义，SVM模型的求解最大分割超平面问题可以表示为以下约束最优化问题：

将约束条件两边同时除以y ，得到


(1/2是为了后面求导以后形式简洁，不影响结果），因此SVM模型的求解最大分割超平面问题又可以表示为以下约束最优化问题:


使用拉格朗日乘数法,上式的拉格朗日函数为:

其中,拉格朗日乘子≥0，原问题等价为：

看一下我们的新目标函数，先求最大值，再求最小值。这样的话，我们首先就要面对带有需要求解的参数b和w的方程，而拉格朗日乘子又是不等式约束，这个求解过程不好做。所以，我们需要使用拉格朗日函数对偶性，将最小和最大的位置交换一下。
计算L(w,b,a)关于w和b的导数,并分别令为零.得到:

经过上面第一个步骤的求w和b，得到的拉格朗日函数式子已经没有了变量w，b，只有a。从上面的式子得到：

对于这个问题，我们有更高效的优化算法，即序列最小优化（SMO）算法。
我们通过这个优化算法能得到a，再根据a，我们就可以求解出b和 w，进而求得我们最初的目的：找到超平面，即”决策平面”。
b.核函数
我们已经了解到，SVM如何处理线性可分的情况，而对于非线性的情况，SVM的处理方式就是选择一个核函数。简而言之：在线性不可分的情况下，SVM通过某种事先选择的非线性映射（核函数）将输入变量映到一个高维特征空间，将其变成在高维空间线性可分，在这个高维空间中构造最优分类超平面。
对于线性不可分，我们使用一个非线性映射，将数据映射到特征空间，在特征空间中使用线性学习器，分类函数变形如下：

其中ϕ从输入空间(X)到某个特征空间(F)的映射，这意味着建立非线性学习器分为两步：
首先使用一个非线性映射将数据变换到一个特征空间F；
然后在特征空间使用线性学习器分类。
如果有一种方法可以在特征空间中直接计算内积<ϕ(x_i),ϕ(x)>，就像在原始输入点的函数中一样，就有可能将两个步骤融合到一起建立一个分线性的学习器，这样直接计算的方法称为核函数方法。简而言之：如果不是用核技术，就会先计算线性映ϕ(x_1)和ϕ(x_2)，然后计算这它们的内积，使用了核技术之后，先把ϕ(x_1)和ϕ(x_2)的一般表达式<ϕ(x_1),ϕ(x_2)>=k(<ϕ(x_1),ϕ(x_2) >)计算出来，这里的<·，·>表示内积，k(·，·)就是对应的核函数，这个表达式往往非常简单，所以计算非常方便。
这种将内积替换成核函数的方式被称为核技巧(kernel trick)。
通过核技巧的转变，我们的分类函数变为：

我们的对偶问题变成了：

这样，我们就避开了高纬度空间中的计算。如果对于任意一个映射，要构造出对应的核函数很困难。因此，通常，人们会从一些常用的核函数中进行选择，根据问题和数据的不同，选择不同的参数，得到不同的核函数。接下来，要介绍的就是一个非常流行的核函数，那就是径向基核函数。
径向基核函数是SVM中常用的一个核函数。径向基核函数采用向量作为自变量的函数，能够基于向量举例运算输出一个标量。径向基核函数的高斯版本的公式如下：

其中，σ是用户自定义的用于确定到达率(reach)或者说函数值跌落到0的速度参数。上述高斯核函数将数据从原始空间映射到无穷维空间。如果σ选得很大的话，高次特征上的权重实际上衰减得非常快，所以实际上（数值上近似一下）相当于一个低维的子空间；反过来，如果σ选得很小，则可以将任意的数据映射为线性可分——当然，这并不一定是好事，因为随之而来的可能是非常严重的过拟合问题。不过，总的来说，通过调控参数σ，高斯核实际上具有相当高的灵活性，也是使用最广泛的核函数之一。
3.参考博客
https://blog.csdn.net/c406495762/article/details/78158354#%E4%B8%89-%E9%9D%9E%E7%BA%BF%E6%80%A7svm

https://blog.csdn.net/c406495762/article/details/78072313?depth_1-utm_source=distribute.pc_relevant.none-task-blog-OPENSEARCH-2&utm_source=distribute.pc_relevant.none-task-blog-OPENSEARCH-2#%E4%B8%80-%E5%89%8D%E8%A8%80