支持向量机1-线性可分支持向量机

一.理论基础

约束优化方法之拉格朗日乘子法与KKT条件
拉格朗日对偶

一.支持向量机分类

SVM 是一种二分类模型， 包含三种类型：线性可分支持向量机，线性支持向量机以及非线性支持向量机；

线性可分支持向量机：当训练数据可分时， 通过硬间隔最大化， 学习一个线性的分类器
线性支持向量机：当训练数据近似线性可分时，通过软间隔最大化，学习一个线性的分类器，即线性支持向量机，有又称为软间隔支持向量机
非线性支持向量机：当训练数据线性不可分时， 通过使用核技巧以及软件个最大化

二.函数间隔与几何间隔

函数间隔： 对于给定的训练数据集T和超平面（w,b），定义超平面（w,b）关于样本点$(x_i,y_i)$的函数间隔为
${\hat{\gamma }}_i=y_i(w\cdot x_i+b)$
定义超平面（w,b）关于训练集T的函数间隔所有样本点的函数间隔最小值，即： $\hat{\gamma }=\underset{i=1,.....,N}{\max }{\hat{\gamma }}_i$

几何间隔：对于给定的训练数据集T和超平面（w,b），定义超平面（w,b）关于样本点$(x_i,y_i)$的几何间隔为
${\gamma }_i=y_i($