机器学习-支持向量机

12 support vector machines

12.1 optimization objective

支持向量机(Support Vector Machine)。与逻辑回归和神经网络相比， 在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。监督学习算法。
正如我们之前开发的学习算法，我们从优化目标开始。为了描述支持向量机，我将会从逻辑回归开始展示我们如何一点一点修改来得到本质上的支持向量机。
alternative view 另类观点

在逻辑回归中，这里的一项就是表示一个训练样本所对应的表达式。现在，如果我将完整定义的假设函数代入这里。那么，我们就会得到每一个训练样本都影响这一项。
如左图， 当 z 增大时，也就是相当于thetaT x 增大时， z 对应的代价函数值会变的非常小。对整个代价函数而言，影响也非常小。这也就解释了，为什么逻辑回归在观察到正样本 y=1 时，试图将thetaT x 设置得非常大。因为，在代价函数中的这一项会变的非常小。
支持向量机就是由此修改得来。

但是，这里我们将使用的新的代价函数，是在 y=1 的前提下的。你也许能想到，这应该能做同逻辑回归中类似的事情，但事实上，在之后的的优化问题中，这会变得更坚定，并且为支持向量机，带来计算上的优势。

那么，现在让我给这两个方程命名，上边的函数，我称之为
下边函数我称它为

这里的下标是指在代价函数中，对应的 y=1 和 y=0 的情况，拥有了这些定义后，现在，我们就开始构建支持向量机。

这是我们在逻辑回归中使用代价函数 J(θ)。也许这个方程看起来不是非常熟悉。这是因为之前有个负号在方程外面，但是，这里我所做的是，将负号移到了表达式的里面，这样做使得方程看起来有些不同。对于支持向量机而言，实质上我们要将这替换。因此，对于支持向量机，我们得到了这里的最小化问题。

首先，我们要除去 1/m 这一项。
第二点概念上的变化。对于逻辑回归，在目标函数中，我们有两项：第一个是训练样本的代价，第二个是我们的正则化项，我们不得不去用这一项来平衡。这就相当于我们想要最小化 A 加上正则化参数λ，然后乘以其他项 B 对吧？这里的 A 表示这里的第一项，同时我用 B 表示第二项，但不包括λ，我们不是优化这里的 A+λ× B。我们所做的是通过设置不同正则参数λ 达到优化目的。这样，我们就能够权衡对应的项，是使得训练样本拟合的更好。即最小化 A。
还是保证正则参数足够小，但对于支持向量机，按照惯例，我们将使用一个不同的参数替换这里使用的 λ来权衡这两项。使用一个不同的参数称为 C，同时改为优化目标 C×A+B， 因此，在逻辑回归中，如果给定λ，一个非常大的值，意味着给予 B 更大的权重。 而这里，就对应于将 C 设定为非常小的值，那么，相应的将会给 B 比给 A 更大的权重。
这只是一种不同的方式来控制这种权衡或者一种不同的方法，即用参数来决定是更关心第一项的优化，还是更关心第二项的优化。

我现在删掉这里的λ，并且用常数 C 来代替。因此，这就得到了在支持向量机中我们的整个优化目标函数。然后最小化这个目标函数，得到 SVM 学习到的参数 C。

最后有别于逻辑回归输出的概率。在这里，我们的代价函数，当最小化代价函数，获得参数 θ 时，支持向量机所做的是它来直接预测 y 的值等于 1，还是等于 0。因此，这个假设函数会预测 1。

Large Margin Intuition

支持向量机看作是大间距分类器。