机器学习系列(15)_SVM碎碎念part3:如何找到最优分离超平面

作者:寒小阳
时间:2016年9月。
出处:http://blog.csdn.net/han_xiaoyang/article/details/52683653
声明:版权所有,转载请联系作者并注明出处

1.引言

是的,咱们第1篇blog介绍了目标;第2篇blog介绍了向量相关的背景数学知识,看到了如何求解Margin的值;今天这个部分主要目的是和大家一起来看看,选择最优超平面的推理过程

以下是本篇的一个简短目录:

  • 如何找到最优超平面
  • 如何计算两超平面间的距离
  • SVM的最优化问题是什么

2.如何找到最优超平面

第2篇blog的结尾我们计算了点A到超平面间的距离p,然后计算间隔为2p
有些情况下我们得到的超平面能够很好地完成不同类别样本点的分隔,但是却不是最佳的超平面。比如以下这个超平面是第2篇blog中求解出来的超平面。


cmd-markdown-logo

然而第1篇blog的内容告诉我们,最优超平面是一个与数据点有最大间隔的平面。在上图中我么可以看到M1间隔(仔细看,没有过G点),在两条蓝线之间,它不是完美分类数据点的最大间隔。最大间隔为M2,如下图所示:


cmd-markdown-logo

可以在上图中看到最优超平面,在我们找的最初的超平面的稍左位置,而它刚好是M_2的中点处的这条垂线。所以在SVM当中,超平面和间隔确实是密切相关的。

只要找到一个分隔超平面,我就能计算平行于这个超平面的间隔。得到间隔之后,就能通过它的中点找到另外一个超平面(比如上图的中间蓝色直线)。

  • 寻找最大间隔,就是寻找最优超平面

3.我们如何找到最大间隔

说起来这个过程还挺简单的:

  • 读取你的数据集。
  • 找到两个平行超平面,可以划分数据并且两平面之间没有数据点。
  • 最大化上述两个超平面间隔

OK,按照上面的步骤,咱们一步步看吧。

步骤1:读取想分类的数据集

大多数时候,你会遇到二分类问题(多分类问题可以转化成二分类问题解决),数据将由n个向量xi组成。
每一个xi与一个值yi相关联,yi代表元素属于类(-1)或类(+1)。请注意,yi只能有两个可能的值 -1或1。
而且,大多数时候,比如当你做文本分类,向量xi有很多维度,我们可以说,X是一个p维向量(如果总共p维)。所以你的数据集是n个元素(xi,yi)对组成的集合。
在集合论中的初始数据集的更正式的定义是:

={(xi,yi)xip,yi{1,1}}ni=1

步骤2:找到两个平行超平面,可以划分数据并且两平面之间没有数据点。

在平面上划线来区分数据很容易。但很多情况下数据是高维的,划分数据就变得困难,因为你没办法把它画出来。(对了,即使你的数据是二维的,也有可能找不到分离超平面!只有在数据线性可分时,这样一条线才能找到。)


cmd-markdown-logo
线性可分 与 非线性可分

因此,假设我们的数据集是线性可分的。怎么找超平面呢?回到超平面方程:

我们在之前看到过超平面的方程可以写做

wTx=0

不过细心的同学,会在维基百科中的SVM中看到下面的描述:

任何超平面都可以写成 满足wxb=0的点x 的集合

首先,本文采用wx代替wTx。然后,关于b的部分,是这样的。

在我们的定义中,向量w与x有三个维度,但在维基百科中是二维的:
给出两个三维向量w(b,a,1)x(1,x,y)

wx=b×(1)+(a)×x+1×ywx=yaxb(1)

给出两个二维向量w(a,1)x(x,y)

wx=(a)×x+1×ywx=yax(2)

现在如果我们在方程(2)的两边减去b得到:

wxb=yaxbwxb=wx(3)

对于这篇文章的剩余部分,我们将使用二维向量(如方程(2))。

给出一个超平面H0划分数据集并且满足:

wxb=0

我们选择其他两个划分数据集的超平面的H1H2,有如下的方程:

wxb=δ
wxb=δ

设定δδ的原因是为了让H0H1H2等距。

不过再仔细想想,你会发现wb是可以缩放的,这里的变量δ其实是没有必要的,为了简化(不引入那么多未知数),我们通过一定的缩放,让δ=1来简化问题。OK,所以我们有了一下形式的2个超平面:

wxb=1wxb=1

还有一个事情咱们得确认一下:它们之间没有任何的数据点。我们只选择那些符合以下两个约束的超平面:
对于每一个向量xi
满足

wxib1for xi1(4)
或者
wxib1for xi1(5)

咱们来试着理解一下上面的约束,在下面的图中,所有的红点都是1类,所有的蓝点都是1类。

因此,让我们看看下面的图,并考虑点A,它是红的所以是1类,我们需要验证它不违反约束wxib1

xi=A我们看到超平面上的点满足wxib=1,同样的B点也是。

xi=C我们看到超平面上的点满足wxib>1,同样的D、E、F、G点也是。

类似的,对于1类的点也满足约束。


cmd-markdown-logo

在下图,我们看到一对超平面满足约束:


cmd-markdown-logo

比如下面是一些不满足约束条件的情况情况:


cmd-markdown-logo
cmd-markdown-logo
cmd-markdown-logo

当不满足约束时,很清楚能看到超平面之间有了数据点。

OK,所以到此为止,我们找到了一个约束条件–从而能够选择两个中间没有数据点的超平面。当然,这里举得例子是二维平面的,而实际上对于更高维的空间也是成立的。

大家总是喜欢更精简的表达形式,所以我们结合一下两种约束

方程(4)(5)可以合并成一个单一的约束,我们从方程(5)开始

for xi1wxib1

两边同乘yi(在该约束中始终为-1)
yi(wxib)yi(1)

这意味着方程式(5)可以写做:

yi(wxib)1for xi1(6)

在方程(4)中,因为y_i =1,它不改变不等号方向。

yi(wxib)1for xi1(7)

将方程式(6)(7)写在一起 :
yi(wxib)1for all1in(8)

OK,我们得到了一个很简洁的约束条件(方程8),它和方程4,5在数学上是等价的,也能保证两超平面间没有数据点。

步骤3:两个超平面之间的距离最大化

哈哈,大家稍微提起一点精神吧,这是本节内容中最难的部分。不过会尽量写细一点,相信大家,应该没啥问题的。

a)我们的两个超平面之间的距离是什么

OK,现在要做的事情是最大化两个超平面之间的距离,那两个超平面之间的距离怎么计算呢?好,一步步来,我们先做一些标定:

  • 0是满足约束wxb=1的超平面
  • 1是满足约束wxb=1的超平面
  • x00上的一点

对了,从x0到超平面1的垂直距离m就是我们所说的间隔。x0在超平面0上,所以m是超平面01间的距离。

我们现在试着找出m的值。


cmd-markdown-logo

感觉上x0如果和另一个超平面距离m的话,我们加上m应该会得到另一个超平面上的点。

不过m是一个标量,x0是一个向量,在一个向量上加一个标量的运算是完成不了的。那我们将m变换成一个向量,我们将能够做一个加法。

我们可以找到距离x0为m的所有的点,大家都知道,它是下图这样的一个圆:


cmd-markdown-logo

OK,结合这张图,你就更清楚了,我们有长度m而缺少另外一个向量的关键信息:方向

OK,标量加向量是没法算了,但大家都知道,向量乘以标量,会得到另外一个缩放后的向量。

OK,所以我们其实是想要找到这样一个向量:

  • 长度为m
  • 方向垂直于平面1

仔细看看超平面的形式,我们发行已经有一个垂直1的向量,是w(因为1wxb=1


cmd-markdown-logo

我们定义u=www的单位向量,即u=1,且它和w有相同的方向,垂直于平面1


cmd-markdown-logo

如果我们用u乘以m,得到向量k=mu,让k满足:

  • k=m
  • k垂直于1,因为它与u具有相同方向

k就是我们正在寻找的向量。


cmd-markdown-logo

k=mu=mww(9)

对,就是通过这样一个方式把m转换成一个可以和向量x0相加的向量k

如果我们在向量x0上加上k,可以得到向量z0=x0+k(终点在超平面1上),如下图所示


cmd-markdown-logo

z01上意味着

wz0+b=1(10)

我们可以用x0+k代替z0

w(x0+k)+b=1(11)

用方程式(9)替代k

w(x0+mww)+b=1(12)

将式子展开可得

wx0+mwww+b=1(13)

向量与自己的内积是它的模的平方,所以:

wx0+mw2w+b=1wx0+mw+b=1wx0+b=1mw

因为x00上,所以wx0+b=1,带入:

1=1mwmw=2m=2w

OK,赞,我们找到了一种计算m的方法

b) 如何最大化两个超平面之间的距离
我们现在有一个公式来计算间隔:

m=2w

在这个公式中,我们唯一可以改变的变量是w的模。比如:
w=1时,m=2
w=2时,m=1
w=4时,m=12

大家很容易发现,w的模越大,间隔越小。

最大化间隔也就是最小化w的模。

我们的目标是最大化间隔。在所有满足约束条件超平面中,我们选择有最小w的超平面,因为这意味着有最大间隔。

有了以下的优化问题

yi(wxib)1i=1,,nww,b

解决这个问题有点像求解方程。一旦解出来答案,我们会找到满足约束条件,也使得w最小的值对(w,b)。对,你可以把它叫做最优超平面的方程!

4.结论

这篇博客做了一个小小的推导,最后得到的结论是:为了找到最优超平面,咱们需要解决一个优化问题。优化问题有点棘手,可能又需要一些额外的数学知识来解决他们。感兴趣的同学继续follow[第4部分:]吧。

发布了121 篇原创文章 · 获赞 2015 · 访问量 299万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览