【机器学习】SVM（支持向量机,Support Vector Machine）重点

介绍

• 支持向量机是一种二类分类模型

支持向量机学习方法包含构建由简至繁的模型

• 线性可分支持向量机（linearsupportvectormachineinlinearlyseparablecase）
• 线性支持向量机（linearsupportvectormachine）
• 非线性支持向量机（non-linearsupportvectormachine）、

思想

SVM 的主要思想是通过寻找一个能够将不同类别的数据分隔开的超平面来进行分类。在二维平面上，超平面就是一条直线，而在更高维度的空间中，超平面就是一个超平面。

SVM 的一个重要特点是可以通过核函数来将数据映射到高维特征空间中，使得数据在原始空间中不可分的情况下，在高维特征空间中变得线性可分。SVM 的优化目标是最大化分类器的边界，即找到一个距离超平面最近的点到超平面的距离最大化，这个距离被称为“间隔”。

在支持向量机中，“支持向量”指的是离超平面最近的那些数据点。这些点对于确定超平面的位置和方向非常重要，因为它们决定了超平面的位置和间隔的大小，而其他的数据点对于超平面的位置和方向没有影响。

在训练支持向量机模型时，找到支持向量是一个重要的步骤。一旦找到了支持向量，就可以确定超平面的位置和方向，并计算出分类器的间隔。同时，支持向量也可以用于对新的数据进行分类，只需要计算新数据点到超平面的距离即可。

在支持向量机的优化目标中，最大化分类器的间隔即相当于最小化支持向量到超平面的距离，这个距离被称为“间隔边界”。因此，支持向量机的优化目标实际上就是找到一个最大间隔的超平面，使得离超平面最近的那些数据点到超平面的距离最大化。

SVM 的优点包括：对于高维度空间中的数据分类效果显著，能够处理非线性分类问题，泛化能力强，容易解释。然而，SVM 的缺点则在于对于大规模数据的处理速度较慢，需要选择合适的核函数，对于噪声数据和重叠数据的处理不优秀。

概念

拉格朗日乘子法

是在优化函数存在等值约束的情况下的一种最优化求解方式；其中参数α被称为拉格朗日乘子，要求α不等于0
$mi{n}_{x}f(x)s.t.:h_i(x)=0,i=1,2,...,p$
$\downarrow$
$mi{n}_{x}f(x)+{\sum }_{i=1}^p{\alpha }_i{h}_i(x),{\alpha }_i\ne 0$

KKT条件

是泛兰格朗日乘子法的一种形式；主要用于当我们的优化函数存在不等值约束的情况下的一种最优化求解方式；KKT条件即满足不等式约束情况下的条件
$mi{n}_{x}f(x)s.t:h_k(x)=0,k=1,2,...p{g}_j(x)\le 0,j=1,2,...,q$
$\downarrow$
L ( x , α , β )