最优间隔分类问题
一.几何间隔和函数间隔
几何间隔就是函数间隔除以w的模。
优化问题就是使他们足够大,可以通过对w,b加倍的方法增加函数间隔。
需要三个定义
1.使函数间隔最大
2.使几何间隔最大
3.使w的模最小
二.拉格朗日算子
定义:想使一个函数f(w)最大化或最小化,此时要满足一些约束对每个i必须保证约束函数的值为0。
创建一个拉格朗日算子:L(w,α,θ)对每个参数求导等于0,求解参数。
定义函数θp(w)=maxL。
当满足所有约束条件的时候θp(w)=f(w),其他时候为正无穷。
minθp(w)为原始问题。
三.对偶问题
求拉格朗日最小值的最大值
KKT条件
四.支持向量
函数间隔为1的是支持向量,即α=1,其他的α=0。