SVM算法

目的:寻找一个超平面,使得两个类别中离决策边界最近的那些点到决策边界的距离越远越好。即,SVM寻找一条最优的决策边界,使得距离两个类别最近的样本点的距离最远。

本质:

             支撑向量机的本质就是最大化margin,margin定义的就是两个类对应的支撑向量所决定的两根直线之间的距离

假设样本点到决策边界的距离为d,通过上式可以得到两类样本的数据点到到决策边界的距离都是大于等于d的,即如下图所示。

 

 将上式左右两边除以d得下式,w是一个向量,b是一个数,w的绝对值和d都是一个数,所以通过整理就可以得到下式 

我们可以再将上式整理成

从下面开始所有的W和b都是上面的Wd和bd

对于决策边界上面的那条直线把支持向量带进去所得到的结果为1,对于决策边界下面的那条直线把支持向量带进去所得到的结果为-1.所以把支持向量和其类别带入上面的式子所到的结果都为1.

      所以对于任意的支持向量X有:

所以我们要最大化W的模分之一,也就是最小化W的模。

                 

 

所以最后我们需要优化的目标函数为:

 

 

 

 

 

 

 

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值