麻省理工公开课人工智能笔记十五

本篇主要讲支持向量机，关于决策边界

在上面这个图中，如何区分正例和负例，前面我们讲过的最近邻，识别树，神经网络三种方法，他们的决策边界的画法可以是上面这样。然而支持向量机的概念与他们都不同，是通过画直线的方式，找到一条直线（图中虚线），能够将分割正负例的街道最宽。

首先我们要考虑，如何制定一条决策规则来使用这个决策边界。

我们有一个向量w，它垂直于中线，长度未知。然后还有一个未知位置u，有一个向量指向它，现在我们感兴趣的是，这个未知位置是位于街道的左侧还是右侧。因此，我们将u投影到w上，这样就有了u在w方向的距离，从而判断出未知位置在右侧还是左侧。我们可以写出公式，向量w点成u是否大于某个常数c，点积的作用就是向w投影，如果大于等于，那么就是在街道右侧。改写一下形式，得到上图框中的决策规则。

现在，我们还不知道w和b，b是位置常数，w我们只知道他是垂直于中线的向量。现在我们要添加一些约束条件。让我们能够计算出一个b和一个w。

我们对上面的公式w点成u+b>=0作进一步约束。假设向量w和一个正例相量xi+的点积+b>=1，向量w和一个负例相量xi-的点积+b<=1。如上图，并设yi，当使用的是正例时，yi=+1，当使用的是负例时，yi=-1；用yi乘以前式，得到一个对于正例负例都相同的式子，同时，对于边界例子，我们假设是等于0的。

现在，让我们再回顾一下最初的问题，我们想求出如何设定直线，让街道能够以最宽的形式分割正例和负例。所以我们还需要表达出两个边缘之间的距离。

重新画一下图，我们标记街道边缘的一个正例x+和一个负例x-，那么x+  -  x-  点成垂直于街道的单位向量就得到街道的宽度。我们得到上图中的wide式子，重要的是，根据，当是正例时，yi为+1，代入得x+点成w等于1-b，同理是负例时，x-点成w等于1+b，这样宽度就等于2/|w|（向量w得模），这意味着要使街道最宽，就使|w|最小，也就是使1/2|w|的平方最小，如上图。

到这里，转化为求极值问题，而且是条件极值，即在所有这些未知点xi的情况下求（1/2|w|的平方）的最小值。使用拉格朗日函数。得到这个公式

条件极值，对他求导。对向量求导和对标量求导一样。

由这里，我们发现，w是未知向量xi的线性和。

同理还能得到对b的偏导。

然后，我们再把偏导的结果反代回去。

整理这个式子，第三项中αi和yi的乘积之和是0；第二项和第一项相同，第四项不变，我们得到：

即求这个式子的极值。

关注这个式子，我们发现，极值的结果只与未知向量之间的点积有关。

重新整理我们得到一个全新的额决策规则。

向量w用未知向量的点积表示。