支持向量机(Support Vector Machine SVM)

1.摘要

这篇文章主要介绍支持向量机的有关内容，主要包括支持向量机的推导，支持向量机的特性，支持向量机简单的数学原理介绍，核函数，最后还对比了一下逻辑回归，支持向量机，神经网络，简单说明他们各自的适用情况。

关键词：支持向量机，核函数。

2.正文

2.1支持向量机的引入推导

支持向量机是一种强大的拟合非线性方程的工具，首先介绍一下它的引入。
由前面学习，我们可以知道，对于逻辑回归的一组样本，我们有代价函数：$$J(\theta )=-ylog\frac{1}{1+e^{{\theta }^{T}x}}-(1-y)log(1-\frac{1}{1+e^{{\theta }^{T}x}})$$但是$log\frac{1}{1+e^{{\theta }^{T}x}}$这一项太复杂了，我们要想办法简化它，使代价函数计算起来方便一点。对代价函数做如下近似：

图1 逻辑回归代价函数的近似

将原来的曲线用两段折线来近似。对$y=1$,即$J(\theta )=-log\frac{1}{1+e^{{\theta }^{T}x}}$,用图1左边的两个线段来近似，称为对于$y=0$,即$J(\theta )=-log(1-\frac{1}{1+e^{{\theta }^{T}x}})$时，用图1右边的线段来近似
所以，对于支持向量机(SVM)的代价函数，我们可以做如下修改：

图2 支持向量机的代价函数

对比逻辑回归函数，做了一下变化：首先去掉了$\frac{1}{m}$,接着用$cos{t}_1({\theta }^T{x}^{(i)})$替代$-log\frac{1}{1+e^{{\theta }^{T}x}}$,用$cos{t}_0({\theta }^T{x}^{(i)})$替代$-log(1-\frac{1}{1+e^{{\theta }^{T}x}})$,最后，因为我们要将SVM的代价函数写为$CA+B$的形式，所以最后可得SVM的代价函数为$$mi{n}_{\theta }C\sum _{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{i=1}^n{\theta }_j^2$$
特别的，对于SVM的假设函数，有$$h(\theta )=\{\begin{array}{ll}1& {\theta }^{T}x>=0\\ 0& {\theta }^{T}x<0\end{array}$$

2.2大边界的直观理解

假设我们要对下图划出分类边界

图3 需要分类的样本

我们可以画出这些边界作为他们的分类边界

图4 不同的边界

显然我们可以发现，黑色的线是比较好的边界，因为黑线有更大的间距。使用SVM算法就能得到这样一条线，因此有时候SVM会被称为**大间距分类器**

最后再提一下$C$对分类边界的影响，对于

图5 有异常点的分类

有异常点的分类，如果C比较大，那么会得到红色的线，如果C比较小，那么会得到黑色的线。对于这种情况该怎么理解呢？
可以从$C=\frac{1}{\lambda }$来理解：

• $C$比较大时，$\lambda$比较小，容易导致过拟合，也就是对样本拟合的偏差会比较小，所以对于异常点，我们也会考虑进去
• $C$比较小时，$\lambda$比较大，会导致欠拟合的情况，对于异常点往往会放弃拟合，所以$C$比较小的鲁棒性比较好。

2.3大边界分类背后的数学原理