机器学习——支持向量机

目录

一、什么是SVM

二、最大间隔与分类

三、对偶问题

一、等式约束

二、不等式约束的KKT条件

 三、KKT

四、SMO高效优化算法

五、通过SMO-SVM实现对莺尾花数据集的二分类

六、总结

---

一、什么是SVM

SVM是一种监督机器学习算法，是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。可用于分类或回归挑战。然而，它主要用于分类问题。

二、最大间隔与分类

如果一个线性函数能够将样本分开，称这些数据样本是线性可分的。

那么什么是线性函数呢？其实很简单，在二维空间中就是一条直线，在三维空间中就是一个平面，以此类推，如果不考虑空间维数，这样的线性函数统称为超平面。

我们看一个简单的二维空间的例子，+代表正类，-代表负类，样本是线性可分的，但是很显然不只有这一条直线可以将样本分开，而是有无数条，我们所说的线性可分支持向量机就对应着能将数据正确划分并且间隔最大的直线。

在样本空间中寻找一个超平面, 将不同类别的样本分开。

 

最大化间隔: 寻找参数w和b , 使得下述公式最大： 

 

三、对偶问题

一、等式约束

给定一个目标函数 f : Rn→R，希望找到xRn，在满足约束条件g(x)=0的前提下，使得f(x)有最小值。该约束优化问题记为：

可建立拉格朗日函数：           ，其中 λ 称为拉格朗日乘数。

因此，可将原本的约束优化问题转换成等价的无约束优化问题：

分别对待求解参数求偏导，可得：

一般联立方程组可以得到相应的解。