机器学习7最优间隔分类器问题

 最优间隔分类问题

一.几何间隔和函数间隔

几何间隔就是函数间隔除以w的模。

优化问题就是使他们足够大，可以通过对w,b加倍的方法增加函数间隔。

需要三个定义

1.使函数间隔最大

2.使几何间隔最大

3.使w的模最小

二.拉格朗日算子

定义：想使一个函数f(w)最大化或最小化，此时要满足一些约束对每个i必须保证约束函数的值为0。

创建一个拉格朗日算子：L(w,α,θ)对每个参数求导等于0，求解参数。
定义函数θp(w)=maxL。

当满足所有约束条件的时候θp(w)=f(w),其他时候为正无穷。

minθp(w)为原始问题。

三.对偶问题

求拉格朗日最小值的最大值

KKT条件

四.支持向量

函数间隔为1的是支持向量，即α=1，其他的α=0。