【吴恩达机器学习笔记】第十二章 支持向量机

搜索微信公众号:‘AI-ming3526’或者’计算机视觉这件小事’ 获取更多人工智能、机器学习干货

csdn：https://blog.csdn.net/qq_36645271

github：https://github.com/aimi-cn/AILearners

---

第十二章 支持向量机

12.1 优化目标

12.1.1 逻辑回归回顾

为了描述支持向量机(support vector machine)，我们先从逻辑回归开始，然后做一些小小的改动，来得到一个支持向量机。

• 逻辑回归的假设函数：
  

• sigmoid激活函数图像：
  

• 逻辑回归的作用：

  • 如果样本中$y=1$，我们希望$h(x)\approx 1$，那么${\theta }^{T}x>>0$。
  • 如果样本中$y=0$，我们希望$h(x)\approx 0$，那么${\theta }^{T}x<<0$。

• 逻辑回归的代价函数：
  
  这里的代价函数没有求和，代表了每个单独训练样本对逻辑回归的总体目标函数所做的“贡献”。之后再将$h_{\theta }(x)$带入得到下式：
  
  现在让我们考虑两种情况——$y=1$和$y=0$因为在这两种情况下代价函数只有一项有用。

• 加入$y=1$（我们希望${\theta }^{T}x>>0$），这时目标函数中只有第一项起作用：
  
  在上图中，我们可以看到当$z$很大时，也就是${\theta }^{T}x$很大时，函数所对应的值会变得很小，也就是它对代价函数的影响很小，这也解释了为什么逻辑回归在“看见”$y=1$这样的样本时会将${\theta }^{T}x$设置成一个很大的值。

为了构建支持向量机，我们要从这个代价函数开始，然后进行小量修改：

新的代价函数从1开始，1的右侧是水平的，左侧是一条和逻辑回归幅度相似的直线（这条直线的斜率并不是很重要）。我们把这个新的代价函数命名为$cos{t}_1(z)$。新的代价函数的作用于逻辑回归很相似，但支持向量机拥有计算上的优势，并且使得之后的优化问题变得更简单。

• 加入$y=0$（我们希望${\theta }^{T}x<<0$），这时目标函数中只有第二项起作用：
  
  与$y=1$时的情况相同，我们用一个新的代价函数来代替逻辑回归的代价函数，并将它命名为$cos{t}_0(z)$。

12.1.2 支持向量机

让我们先来回顾一下逻辑回归的代价函数：

与之前不同的是，我们把min前面的符号放到了括号里。对于支持向量机而言，我们要做的实际上是把括号里的两个部分换成$cos{t}_1({\theta }^T{x}^{(i)})$和$cos{t}_0({\theta }^T{x}^{(i)})$。

除此之外，我们还要对支持向量机的的代价函数做一些改变：

• 去除$\frac{1}{m}$这一项。这样同样能得到参数的最优值，因为$\frac{1}{m}$只是一个常数。
• 在逻辑回归中，目标函数有两项——代价函数(A)和正则化项(B)，我们要做的是平衡着两项。我们要做的不是计算$A+\lambda B$，而是通过设定不同的正则化参数以便能够权衡两项，即我们现在多大程度上去适应训练集，还是更多的去保持正则化参数足够小。在支持向量机中，我们会使用另一个参数C来权衡。

最后我们就得到了支持向量机的代价函数：

与逻辑回归不同的是，SVM并不会输出概率，相对的，支持向量机进行了一个直接的预测，预测$y=1$还是$y=0$。
$$h_{\theta }(x)=\{\begin{array}{ll}1& \text{if θTx≥0}\\ 0& \text{otherwise}\end{array}$$

12.2 大间距的直观理解

12.2.1 大间距分类器

有时候人们会把支持向量机叫做大间距分类器(large margin classifiers)，下图是支持向量机的代价函数：

下图中左边我们画出关于$z$的代价函数$cos{t}_1(z)$，在右边画出关于$z$的代价函数$cos{t}_0(z)$。

现在我们要讨论的是如何使这些代价函数变得更小。

• 当$y=1$时，那么仅当$z\ge 1$时，有$cos{t}_1(z)=0$。
• 当$y=0$时，那么仅当$z\le -1$时，有$cos{t}_1(z)=0$。

但是，支持向量机的要求更高，不仅仅要能正确分开输入的样本，即不仅仅要求${\theta }^{T}x>0$，我们需要的是比0值大很多，比如大于等于1，我也想这个比0小很多，比如我希望它小于等于-1，这就相当于在支持向量机中嵌入了一个额外的安全因子，或者说安全的间距因子。

12.2.2 支持向量机的决策边界

如果在上图支持向量机的损失函数中，我们将C的值设置的非常大，那么最小化优化目标的时候，我们将迫切希望找到一个值，能让第一项等于0。

• 无论何时$y^{(i)}=1$：${\theta }^T{x}^{(i)}\ge 1$。
• 无论何时$y^{(i)}=0$：${\theta }^T{x}^{(i)}\le -1$。

现在我们要把优化问题看作是通过参数选择来使第一项等于0，那么优化问题就会变成最小化：
$$C\times 0+\frac{1}{2}\sum _{i=1}^n{\theta }_j^2$$
这个式子受以下条件限制：

• ${\theta }^T{x}^{(i)}\ge 1$，如果$y^{(i)}=1$。
• ${\theta }^T{x}^{(i)}\le -1$，如果 y ( i )