数据挖掘学习——支持向量机（SVM）

目录

1.概论

（1）线性可分支持向量机                                                                       

   1.原始问题：

   2.SVM

   3.分类预测可靠度

   4.分类间隔

   5.约束条件

   6.线性可分支持向量机的学习算法（最大间隔法）

   7.对偶算法

（2）线性不可分支持向量机

算法过程

（3）非线性支持向量机

1.对偶问题

2.算法

2.实战（rbf+gamma做鸢尾花分类）

---

1.概论

  SVM是一种分类模型，是一个定义在特征空间上间隔（距离）最大的线性分类器。

  基本思路：SVM将训练样本数据集表示为特征空间的点，将各个类别的训练数据使用超平面进行分隔，在预测时，输入一个新的测试数据点，若该测试数据点在特征空间的位置分布在超平面的某一侧，则判断该测试点的类别即为该侧所对应的类别。

共有三种类型的SVM：

线性可分支持向量机(硬间隔最大化)

线性不可分支持向量机（软间隔最大化）

非线性支持向量机（核技巧和软间隔最大化）

（1）线性可分支持向量机                                                                       

  1.原始问题：

将求解线性可分支持向量机的最优化问题作为原始最优化问题。 

（SVM通常用于二分类问题，用-1和+1分别表示对应的两个类别，当yi=-1时称样本点xi为负例，当yi=+1时称样本点xi为正例）

   2.SVM

    当训练数据集为线性可分时，SVM算法期望能够在样本数据分布的特征空间中计算得到一个分离超平面，使得所有的样本（正例和负例）都可以按照其对应的类别，分布到超平面两侧。

   线性可分支持向量机的分类决策函数f(x)：

   通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为：

  3.分类预测可靠度

   在使用SVM对训练样本进行分类时，通常采用分类预测可靠度来评估非标类算法的可靠程度。

  距离分离超平面越近，该数据的分类越不可靠，反之，距离越远，该数据的分类越可靠。