吴恩达机器学习13--支持向量机(Support Vector Machines)

最新推荐文章于 2022-08-07 17:50:47 发布

Margo_Zhang

最新推荐文章于 2022-08-07 17:50:47 发布

阅读量441

点赞数

分类专栏：吴恩达机器学习

本文链接：https://blog.csdn.net/Margo_Zhang/article/details/82703686

版权

吴恩达机器学习专栏收录该内容

14 篇文章 0 订阅

订阅专栏

本文深入探讨支持向量机（SVM），解释其作为大间距分类器的原理，介绍了优化目标、直观理解、数学原理，并详细阐述了核函数的概念，包括高斯核函数，以及何时应该使用核函数。

摘要由CSDN通过智能技术生成

第13章支持向量机(Support Vector Machines)

一，优化目标(Optimization objective)

SVM也是广泛的应用于工业界和学术界的监督学习算法。

类似于logistic的代价函数，SVM的代价函数如图是斜直线加上平直线。所以是类似的，在之后的优化问题中，这会变得更坚定，并且为支持向量机，带来计算上的优势。例如，更容易计算股票交易的问题等等。

二，直观上对大间距的理解

人们有时将支持向量机看作是大间距分类器。

SVM可以建立一个安全间距，虽然logistic也会做类似的事情。

支持向量机是一种大间距分类器，间距margin。

三，大间距分类器的数学原理

向量的内积，vector inner product

我的推导

这不是一个非常好的选择，因为它的间距很小。这个决策界离训练样本的距离很近。我们来看一下为什么支持向量机不会选择它。

对于这样选择的参数theta，可以看到参数向量theta事实上是和决策界是90度正交的，因此这个绿色的决策界对应着一个参数向量theta这个方向,顺便提一句theta_0=0的简化仅仅意味着决策界必须通过原点。现在让我们看一下这对于优化目标函数意味着什么。

比如这个样本，我们假设它是我的第一个样本x^(1)，如果我考察这个样本到参数theta的投影，投影是这个短的红线段，就等于p^(1)，它非常短。类似地，这个样本如果它恰好是x^(2)，我的第二个训练样本，则它到的投影在这里。我将它画成粉色，这个短的粉色线段是p^(2)，即第二个样本到我的参数向量的投影。因此，这个投影非常短。p^(2)事实上是一个负值，是在相反的方向，这个向量和参数向量theta的夹角大于90度，p^(2)的值小于0。

我们会发现这些p^(i)将会是非常小的数，因此当我们考察优化目标函数的时候，对于正样本而言，我们需要 $p^{(i)}\cdot \left \| \theta \right \|\geqslant 1$ ,但是如果p^(i)在这里非常小,那就意味着我们需要theta的范数非常大.因为如果p^(1)很小,而我们希望 $p^{(1)}\cdot \left \| \theta \right \|\geqslant 1$ ,令其实现的唯一的办法就是这两个数较大。如果 p^(1)小，我们就希望theta的范数大。类似地，对于负样本而言我们需要 $p^{(2)}\cdot \left \| \theta \right \|\leq -1$ 。我们已经在这个样本中看到p^(2)会是一个非常小的数，因此唯一的办法就是的范数变大。但是我们的目标函数是希望找到一个参数theta，它的范数是小的。因此，这看起来不像是一个好的参数向量theta的选择。