数值计算和SVM讲解（下）

2.2.1 Original SVM

终于把所有的铺垫介绍完毕，本节开始我们正式进入SVM。

首先我们简单介绍一下朴素SVM，这个“朴素”一词是本人自己加上的。其意旨脱去加上核函数和SMO算法等等其他知识，展现最为“原始”的SVM思想。

根据2.1.2一节，我们知道SVM的基本架构（代价函数等等）与logistic回归统一，区别在于它的焦点在于支持向量这些点上。那么直观而言，我们希望最优超平面能与这些支持向量的距离（指几何距离）最小。

这里便引出了两个知识点：函数间隔 （Functional margin）与几何间隔 （Geometrical margin）。函数间隔我们在2.1.3感知机一节中已经介绍（构建感知机代价函数中，由此可见感知机其实也是SVM的基础之一），其值为yi(wTxi+b)。

在SVM中我认为几何间隔是构建优化模型最直观的感受，函数间隔只是在几何间隔的基础上人为设定的一种定义值，其作用只是辅助前者。所以本文我们着重介绍一下几何间隔。几何间隔，顾名思义相关点到超平面的几何距离。对于一般点到平面的距离，有公式： d=|wTx+b|/ ||w||，其中分子为绝对值，分母为w的L2范数，也即向量w的模。

设支持向量的样本点为(x*,y*)，γ作为支持向量到超平面的几何间隔14：

对于二者我们有以下的性质：
1.当函数间隔小于0，表示的是误分类的噪声，在感知机一节中我们提到用其来作为误分类样本点的个数，并成为代价函数；在SVM中我们用其作为支持向量样本点与超平面的几何间隔的分子部分；
2. 同倍数扩大或缩小w、b，超平面是不变的，函数距离会同等增减；而几何距离不变，因为点到固定平面的距离是不变的；
3.几何间隔=函数间隔/||w||

接着我们初步定义模型为15（最大化几何间隔）：

其中我们可以令优化函数的分子（函数间隔）为1。因为上述性质2：假设我们这个优化问题的最优解是w*，b*，那么我们可以总是可以同倍数地调整w*，b*使得函数间隔=1，而此时最优超平面是不变的；则上式转化为16：

工程上为了更好求解，我们将目标函数1/||w|| 的最大值转化为求 ||w||平方/2 的最小值。所以上述最终转化为17