支持向量机

目录

一.介绍：

二.相关内容：

1.最大间隔与分类:

2. 对偶问题：

 3.核函数：

 4.软间隔与正则化：

5：损失函数：

三.测试数据集：

1.数据集介绍：

2.相关代码：

2.1.读入数据集：

2.2.SMO算法：

2.3.训练和测试函数：

3.运行结果：

---

一.介绍：

支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane）  。

SVM使用铰链损失函数（hinge loss）计算经验风险（empirical risk）并在求解系统中加入了正则化项以优化结构风险（structural risk），是一个具有稀疏性和稳健性的分类器 。SVM可以通过核方法（kernel method）进行非线性分类，是常见的核学习（kernel learning）方法之一 。

SVM被提出于1964年，在二十世纪90年代后得到快速发展并衍生出一系列改进和扩展算法，在人像识别、文本分类等模式识别（pattern recognition）问题中有得到应用 。

二.相关内容：

1.最大间隔与分类:

线性模型：

在样本空间中寻找一个超平面,将不同类别的样本分开.

 

 将训练样本分开的超平面可能有很多,哪一个好呢?

我们应选择”正中间”,容忍性好,鲁棒性高,泛化能力最强. 的

 

对于不同空间维度的SVM，有着不同类型的间隔：

 

对于超平面来讲：

 

 

 

 

 

我们需要寻找参数w和b,使得间隔最大，即

 间隔最大化的toy example1:

 

 

 间隔最大化的toy example2:

 

2. 对偶问题：