利用支持向量机解决早期糖尿病风险问题

目录

一、支持向量机

1.1简介

1.2最大间隔与分类

1.2.1线性模型：

 1.2.2最大化间隔:

1.2.3间隔最大化的toy example

1.3拉格朗日对偶问题

 二、SMO算法分类早期糖尿病风险问题

2.1 数据集预处理

2.2 读入数据集

2.3 SMO算法中的辅助函数 

 2.4 SMO算法

 2.5 训练和测试函数

2.6 测试结果

---

一、支持向量机

1.1简介

支持向量机是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，其学习策略就是间隔最大化，支持向量机学习方法包含构建由简至繁的模型：线性可分支持向量机，线性支持向量机以及非线性支持向量机。当训练数据线性可分时，通过硬间隔最大化(hard margin maximization),学习一个线性的分类器，即线性可分支持向量机，又称为硬间隔支持向量机;当训练数据近似线性可分时，通过软间隔最化(soft margin maximization)，也学习-一个线性的分类器，即线性支持向量机，又称为软间隔支持向量机;当训练数据线性不可分时，通过使用核技巧(kernel trick)及软间隔最大化，学习非线性支持向量机。

优点：泛化错误率低，计算开销不大，结果易解释

缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题。

适用数据类型：数值型和标称型数据。

1.2最大间隔与分类

1.2.1线性模型：

在样本空间中寻找一个超平面, 将不同类别的样本分开。

问题 :将训练样本分开的超平面可能有很多, 哪一个好呢?

 

 应选择”正中间”, 容忍性好, 鲁棒性高, 泛化能力最强。

 超平面方程:

 1.2.2最大化间隔:

寻找参数 w 和 b , 使得下述公式最大