简单粗暴理解支持向量机（SVM）及其MATLAB实例

目录

SVM概述

SVM的改进：解决回归拟合问题的SVR

多分类的SVM

QP求解

SVM的MATLAB实现：Libsvm

【实例】用SVM分类

【实例】用SVM回归

---

SVM概述

SVM已经是非常流行、大家都有所耳闻的技术了。网络上也有很多相关的博客，讲解得都非常详细。如果你要从零开始推导一个SVM，细致抠它全程的数学原理，我建议可以阅读此篇文章：Zhang Hao的《从零构建支持向量机》。因此本文就不做过多的枯燥的数学原理的讲解。

下面我们只针对数学基础不一、偏工程应用的同学，用简单的语言描述来帮助理解SVM。

传统的SVM做的事情其实就是找到一个超平面，实现二分类，一类+1，一类-1。如上所示。它的目的就是使得两类的间隔最大。黑色的块表示距离分割面最近的样本向量，称为支持向量。

如果我们在低维空间里找不到一个线性分类面把样本分开，SVM就为我们提供了一个思路：将数据从低维空间映射到高维空间后，就很可能使得这堆数据线性可分。比如说，我们要在猫科动物这个特征很局限的“低维空间”里去分猫和老虎，是比较困难的，因为他们很多特征比较相近。但是，如果我们有了更多的参考依据，从生物界的视角，即一个“高维空间”再去区分猫和老虎，我们就有了更多的理由来做出科学的辨别。至于如何低维映射到高维，就是一门数学上的学问了。

数据从输入到输出的过程其实和神经网络非常像：

K就是核函数，做一个内积的运算。SVM中核函数保证了低维空间里的计算量，输出到高维空间里。

K相当于隐含层的神经元。核函数的输出乘上权重，进入激活函数处。

SVM的改进：解决回归拟合问题的SVR

• 为了利用SVM解决回归拟合方面的问题，Vapnik等人在SVM分 类的基础上引入了 不敏感损失函数，从而得到了回归型支持向 量机(Support Vector Machine for Regression，SVR)。

• SVM应用于回归拟合分析时，其基本思想不再是寻找一个最优 分类面使得两类样本分开，而是寻找一个最优分类面使得所有 训练样本离该最优分类面的误差最小。

多分类的SVM

当我们要分多类，而不是简单的二分类（+1,-1）时，怎么破？

解决思路：把多分类转化为二分类问题。具体来看有两个办法：

1. one-against-all

      Classification of new instances for one-against-all case is done by a winner-takes-all strategy, in which the classifier

with the highest output function assigns the class.

比如有一堆样本，打算分成10类。那么我们先取第1类训练标记为【1】。其他9类都是【-1】。这样经过一次SVM就可以得到第1类。

然后我们对【-1】中的9类继续做上述操作，分出第2类。

再以此类对，