SMO(序列最小优化算法)解析

什么是SVM

SVM是Support Vector Machine（支持向量机）的英文缩写，是上世纪九十年代兴起的一种机器学习算法，在目前神经网络大行其道的情况下依然保持着生命力。有人说现在是神经网络深度学习的时代了，AI从业者可以不用了解像SVM这样的古董了。姑且不说SVM是否真的已经没有前途了，仅仅是SVM在数学上优美的推导就值得后来者好好欣赏一番，这也是笔者迄今为止见过机器学习领域最优美的数学推导。

和大多数二分类算法一样，SVM算法也是致力于在正例和反例之间找出一个超平面来将它们区分开来，如下图所示：

图1

如图所示，正例用“+”号表示，反例用“-”号表示。从图中可以看出，正例和反例是线性可分的。学习器的目的就是要学出一条如图所示的红色超平面将正例和反例区分开来。这也是其他非SVM分类器的共同目标，即：

而SVM与其它分类器所不同的是它引入了“支持向量”这一概念，反映到图中也就是红色的小点所代表的向量。（注：由于笔者作图时采用的SVM是软间隔的版本，因此支持向量不像是大多数教科书上采用硬间隔的SVM那样）由SVM的优化目标我们可以知道：样本空间中任意一个点x到该超平面的的距离可写为：

假设超平面可以完全正确地将所有样本分类，则对于任意一个样本（xi，yi）来说都有如下性质（注：样本的标签用+1代表正例，-1代表反例）：

训练样本中使上式成立的样本称为支持向量，两个异类支持向量到超平面距离之和为：

上式