统计学习方法学习记录5-CSDN博客

本文链接：https://blog.csdn.net/2301_77666509/article/details/141938828

第七章支持向量机

支持向量机（support vector machines,SVM）是一种二类分类模型。他的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机，支持向量机还包括核技巧，这可以使它称为实质上的非线性分类器。

支持向量机的学习策略是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。

支持向量机的学习算法是求解凸二次规划的最优化算法。

感知机与支持向量机

当训练数据集线性可分时，存在无穷个分离超平面可将两类数据正确分开。感知机利用误分类最小的策略，求得分离超平面，这时候的解有无穷个；线性可分支持向量机利用间隔最大化求最优分离超平面，这时候解唯一。

线性可分支持向量机

训练数据集为线性可分，线性可分支持向量机对应着将两类数据正确划分并且间隔最大的直线。

函数间隔

一个点距离分离超平面的远近可以表示分类预测的确信程度，在超平面 $w\cdot x+b=0$ 确定的情况下， $|w\cdot x+b=0|$ 能够相对表示点x距离超平面的远近。而且 $w\cdot x+b$ 的符号与类标记y的符合是否一致能够表示分类是否正确，所以用 $y(w\cdot x+b)$ 表示分类的正确性及确信度，这就是函数间隔。

对于给定的训练数据集T，和超平面（w,b)，定义超平面（w，b）关于样本点（xi,yi）的函数间隔为

$\hat{\gamma }_{i}=y_{i}(w\cdot x_{i}+b)$

找到离超平面最近的点，则可以定义

$\hat{\gamma}=min_{i=1,...N} \hat{\gamma_{i}}$

函数间隔随着成比例改变w和b，超平面不会改变，但是函数间隔会成为原来的2倍。

对法向量w进行规范化 ||w||=1，使得间隔确定，不受w、b变化，这种为几何间隔。

几何间隔

当样本点（xi,yi）被超平面（w,b)正确分类，点xi与超平面的（w,b)的距离为

$\gamma_{i}=y_{i}(\frac{w}{||w||}\cdot x_{i}+\frac{b}{||w||})$

找到离超平面最近的点，则可以定义

$\gamma=min_{i=1,...N} \gamma_{i}$

几何间隔为实例点到超平面的带符号的距离，当样本点被超平面正确分类是实例点到超平面的距离。

函数间隔与几何间隔的关系

$\gamma_{i}=\frac{\hat{\gamma_{i}}}{||w||}$

$\gamma=\frac{\hat{\gamma}}{||w||}$

如果||w||=1，则两者相等，如果超平面参数w、b成比例变化，超平面不会改变，函数间隔按照这样的比例增大，几何间隔不变。

间隔最大化

支持向量机学习的基本思想是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。这的间隔最大化又称为硬间隔最大化。

间隔最大化：对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类，不仅将正负实例点分开，而且对最难分的实例点，也有足够大的确信度将它们分开。

最大间隔分离超平面

最近的实例点到一个超平面的几何间隔最大： $max_{w,b}\gamma$

s.t.(subject to ) $\gamma_{i}=y_{i}(\frac{w}{||w||}\cdot x_{i}+\frac{b}{||w||})\geq \gamma,i=1,2,...N$ (实例点到超平面的距离都大于等于这个几何间隔）

由于函数间隔与几何间隔的关系式子，上述等同

$max_{w,b}\frac{\hat{\gamma}}{||w||}$

$\hat{\gamma }_{i}=y_{i}(w\cdot x_{i}+b)\geq \hat{\gamma},i=1,2,...N$ （上面式子左右同乘||w||）

因为函数间隔的取值不影响最优化问题的解，所以w和b可以按比例改成 $\lambda w \lambda b$ ，所以函数间隔为 $\lambda \hat{\gamma}$ 。函数间隔这改变对上面最优化问题的不等式无影响，对目标函数的优化也无影响，这样可以去函数间隔为1，则求最大值 $\frac{1}{||w||}$ ，也是最小值 $\frac{1}{2}||w||^2$ ，所以得到下买你的线性可分支持向量机学习的最优化问题