SVM

svm做分类问题

假设空间线性可分

目标:找到一个超平面wx+b=0 ,使得超平面能够(1)、将空间中的点分隔开来(2)、空间中所有的点离超平面尽可能的远。

找这样一个超平面 wx+b=0 就是找到超平面的参数w和b,w是超平面的法向量,b是超平面的截距。

由于空间线性可分,所以第一个条件能够满足,接下来关键是如何满足第二个条件,要找到这样的超平面使得所有点到超平面尽可能的远,我们不需要计算所有点到超平面的距离,而只需要计算离超平面最近的几个点,只要这个超平面离最近的几个点距离足够远就等价于所有点离超平面足够远,因为其他的点到超平面距离都大于这几个点到超平面的距离。

点到超平面的距离有两种形式。函数距离和几何距离:
函数距离:

ri=wxi+b

当w和b成比例改变时,超平面没变,函数距离成比例改变了,所以函数距离不能参与计算,除以w二阶范式就是几何距离,几何距离可以参与运算,同时为让距离结果包含正负,保证点在超平面正确的一边,几何距离公式:
ri=yi(w||w||xi+b||w||)

这样我们的目标就可以写成 求这几个点到超平面距离极大,同时其他点到超平面距离大于这几个点到超平面的距离。
令函数距离为1,那么

max1||w||s.t.yi(wxi+b)>=1,i=1,2,3,n

等价于
min12||w||2s.t.yi(wxi+b)+1<=0,i=1,2,3,n

根据拉格朗日乘子法,引入参数lambda得
L(w,b,λ)=12||w||2+inλi[yi(wxi+b)+1]

要求
λ>=0

又因为
yi(wxi+b)+1<=0
,所以
12||w||2maxL(w,b,λ)

同时原始问题要求
min12||w||2

于是问题变成
minw,bmaxλL(w,b,λ)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值