机器学习：支持向量机（SVM）简介与其大间距分类性的推导

从逻辑回归到SVM

总所周知，逻辑回归的代价函数（不加正则项）为
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m\left[y\log (h_{\theta }(\vec{x}))+(1-y)\log (1-h_{\theta }(\vec{x}))\right]$$
当$y=0\text{or}1$时函数图像如下：

可以看到，因为$\log$的存在，函数为一条曲线，我们尝试用直线段结合去代替该曲线。令$y=1$时的直线替代为${\text{cost}}_1$，反之为${\text{cost}}_0$。

同时，我们不再除$m$，这仅仅是行业默认的习惯，对求解问题本身没有影响。另外，对于正则项，我们不再用正则参数$\lambda$调节其与模型拟合程度的关系，而是用另一个参数$C$乘在模型拟合程度前面。当$C=\frac{1}{\lambda }$时，两者求解出的参数是相等的。

综上，代价函数$J(\theta )$可写为
$$J(\theta )=C\sum _{i=1}^m[y^{(i)}{\text{cost}}_1({\theta }^T{x}^{(i)})+(1-y^{(i)}){\text{cost}}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{i=1}^n{\theta }_j^2$$

$\text{cost}$函数图像如图所示：

不难发现，欲使代价函数最小，只需要在$y=1$时使${\theta }^{T}x\ge 1$，在$y=0$时使${\theta }^{T}x\le -1$即可（此时$\text{cost}$部分等于0）。

这样的代价函数使得算法在分类时要求更高，逻辑回归在${\theta }^{T}x=0$处划分两类，而SVM则使${\theta }^{T}x$的绝对值尽量超过1。

大间距分类性

大间距分类指我们的分类器构造出的边界总是使决策边界到两类样本点的距离较大。例如下图中，粉色线和绿色线距离两侧的样本距离较近，而黑色线距离较远，SVM更倾向于黑色线这样的分类边界。

会产生这样的结果是因为我们的正则项
$$\frac{1}{2}\sum _{j=1}^n{\theta }_j^2=\frac{1}{2}||\vec{\theta }|{|}^2$$
即我们在代价函数中，会尽可能去缩短参数向量$\vec{\theta }$的长度。同时，SVM也会尽量让$y=1$时${\theta }^{T}x\ge 1$，在$y=0$时${\theta }^{T}x\le -1$。由这两个条件就可推导出SVM的大间距性：

首先，${\theta }^{T}x$可写为为向量点乘形式
$${\theta }^{T}x=\vec{\theta }\cdot \vec{x}=||\vec{\theta }||(||\vec{x}||\cos <\vec{\theta },\vec{x}>)$$
即${\theta }^{T}x$的值取决于$\vec{\theta }$的长度和$\vec{x}$在$\vec{\theta }$方向上投影长度的乘积。

而决策边界为满足${\theta }^{T}x=0$面，则参数向量$\vec{\theta }$是垂直于该面的（法向量）。所以$\vec{x}$在$\vec{\theta }$方向上的投影其实就是该样本点到决策边界的距离。

所以，SVM运行时，会尽量缩短$\vec{\theta }$，又要满足$|{\theta }^{T}x|\ge 1$，那么只能让$\vec{x}$在$\vec{\theta }$方向上的投影长度尽可能长，等价于样本点距离决策边界的距离尽可能长。