支持向量机（SVM）详解（一）

支持向量机（SVM）详解（一）

第十三次写博客，本人数学基础不是太好，如果有幸能得到读者指正，感激不尽，希望能借此机会向大家学习。这一篇的部分内容来自于《机器学习》、《技法》，以及自己的一些见解。

预备知识：

这一部分首先介绍集合距离，然后定义“最优”分类器、间隔与支持向量，最后介绍二次规划问题以及回顾拉格朗日乘子法与对偶问题。关于拉格朗日乘子法与对偶问题的详细介绍可以参考我的上一篇博客《拉格朗日乘子法和对偶问题详解》。

【1】点到超平面距离

  假设存在超平面：${\omega }^T\mathbf{x}+b=0$，而且点${\mathbf{x}}_a$和${\mathbf{x}}_b$在此超平面上，即$$\{\begin{array}{l}{\omega }^T{\mathbf{x}}_a+b=0\\ {\omega }^T{\mathbf{x}}_b+b=0\end{array}$$，由此可知：
  ①  $$\{\begin{array}{l}{\omega }^T{\mathbf{x}}_a+b=0\\ {\omega }^T{\mathbf{x}}_b+b=0\end{array}$$
  ② $\omega$是超平面的一个法向量，即$\omega \perp \left({\mathbf{x}}^{\prime }-{\mathbf{x}}^{\prime \prime }\right)$
  点$\mathbf{x}$是超平面外的一点，那么点到超平面的距离可以表示为：

【2】“最优”分类器

  首先来看几幅不同分类边界的分类器效果图，每一个分类器都对4个样本点进行了正确分类：

虽然每个分类器的正确分类率相同，但是当样本点存在一定的噪声时，分类器能否将其正确分类呢？或者，因为样本点数目的局限性而不能表现出整个训练集的数据分布特征时，分类器能否将新加入的样本点正确分类呢？这就体现除了分类器的鲁棒性（robust）和泛化性能的重要性，显然基于以上两点，最右边的分类器的性能最优。

【3】间隔与支持向量

  由【1】中的条件，我们可以使用${\omega }^T\mathbf{x}+b$的大小来表示样本点$\mathbf{x}$有多大的可能性属于正（负）样本点集，即若${\omega }^T\mathbf{x}+b=1$，那么样本有100%的可能性属于正样本集。
  假设存在一个超平面可以将所有训练样本正确分类，即每个标记为+1的样本点均位于超平面的正样本点集的一侧，每个标记为-1的样本点均位于超平面的负样本点集的一侧，那么对于 ( x i , y