最大间隔分类器的错误理解

以前:以为最大间隔是因为一条线段从中间分开会令平方和最大化;a+b=8; a=b=4j时,a^2+b^2是最小的,并不符合最大间隔的含义;

20180813:所有样本中距离超平面(将所有的样本正确分类)最近的几何间隔最大化;比如说确定了某平面A,离它最近的样本点的几何间隔为dA;确定了某平面B,离它最近的样本点的几何间隔为dB,以此类推,多个平面;那么最终的确定方案就是比例dA,dB,dC……,选择最大的值,即最大间隔分类器;

如图所示:

这里写图片描述 
  能够容忍更多噪声—>所有样本与分割超平面的距离尽可能远—>最差的样本(离分割超平面最近的样本)与分割超平面的距离要尽可能远

因此,SVM的目的就是从无数多个分割超平面中,找到这样最好的分割超平面;

所以SVM的优化目标:

令(x(i)x(i),y(i)y(i)),i=1,2,...,mi=1,2,...,m为训练集中的一个样本,一共有mm个样本。wTx+b=0wTx+b=0为超平面,ww和bb是我们要求的参数。则样本(x(i)x(i),y(i)y(i))到超平面wTx+b=0wTx+b=0的距离(几何间隔)定义为:

γ=|wTx+b|||w||γ=|wTx+b|||w||


  因为wTx+b=0wTx+b=0能正确分类样本,所以有:

y(wTx+b)>0y(wTx+b)>0


  因此为了计算方便,可以去掉γγ表达式中的绝对值,写成:

γ=y(wTx+b)||w||γ=y(wTx+b)||w||


  事实上,y取±1时,上式与最开始的定义完全等价。 
  重点来了!重点来了! 
  上面说到,我们要找的线描述为:离分割线最近的样本与分割线的距离尽量远 
  什么叫离分割线最近的样本?答:就是所有样本与分割线的距离,都大于等于该样本与分割线的距离。假设该样本为(x(k),y(k))(x(k),y(k)),则有:

y(i)(wTx(i)+b)||w||≥y(k)(wTx(k)+b)||w||,i=1,2,...,my(i)(wTx(i)+b)||w||≥y(k)(wTx(k)+b)||w||,i=1,2,...,m


  此为约束条件。 
  什么是尽量远?答:

maxw,by(k)(wTx(k)+b)||w||maxw,by(k)(wTx(k)+b)||w||


  此为目标。 
  为了书写方便,不妨设y(k)(wTx(k)+b)=Ky(k)(wTx(k)+b)=K(样本已确定,是一个常数),并约去约束条件中的分母,则上述两式联合起来可写为:

maxw,bK||w||maxw,bK||w||

s.t.y(i)(wTx(i)+b)≥K,i=1,2,...,ms.t.y(i)(wTx(i)+b)≥K,i=1,2,...,m


  下面我们令w′=wK,b′=bKw′=wK,b′=bK,则有w=w′K,b=b′Kw=w′K,b=b′K,带入上述两式则有:

maxw,bK||w′K||即maxw,b1||w′||maxw,bK||w′K||即maxw,b1||w′||

s.t.y(i)(w′TKx(i)+b′K)≥K即y(i)(w′Tx(i)+b′)≥1,i=1,2,...,ms.t.y(i)(w′TKx(i)+b′K)≥K即y(i)(w′Tx(i)+b′)≥1,i=1,2,...,m


  易知,优化w′=wKw′=wK与b′=bKb′=bK等价于优化w,bw,b,且有maxw,b1||w||maxw,b1||w||等价于minw,b12||w||2minw,b12||w||2所以我们最终就得到如下优化目标:

minw,b12||w||2minw,b12||w||2

s.t.y(i)(wTx(i)+b)≥1,i=1,2,...,ms.t.y(i)(wTx(i)+b)≥1,i=1,2,...,m


  这就是我们熟悉的SVM优化目标啦!(注:这是假设样本可以被完美分类的情况下的目标,称为硬间隔最大化)

参考:https://blog.csdn.net/a738779675/article/details/50989048

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值