支持向量所在超平面方程_外行人都能看懂的机器学习原理——支持向量机

支持向量机是一种比较复杂的人工智能算法，但其中的数据推理是所有的AI算法里面最复杂的。

从17年开始啃的，当时花的时间比其它常用的机器学习算法加在一起还要多。实在太难啃了。好不容易串联起来了，也记了笔记，每过一年重新看的时候又忘了，几乎都得重新啃一遍。这次尽量用普通人能懂的语言记录一遍，帮助自己回忆，也希望能帮到一些人工智能的初学者。

概述

它最基本的想法就是，基于训练集D，在样本空间中找到一个划分超平面，将不同类别的样本分开。

首先基于标记样本，通过模型训练得到划分超平面，再用划分超平面预测未知样本属于哪一类。

支持向量机的整个推理过程便是如何根据已知的样本属性值得到划分超频面。本质是求解出该超平面在多维空间的斜率与截距。该超平面必须能够将两类样本分开，并且使得各类别离该超平面最近的样本到该超平面距离最远。

• 通过拉格朗日乘子法将限制条件下的最小值问题，转化成非限制条件下的最值问题。可对各个参数求偏导得到结果，但该算法的复杂度跟样本数、属性数都正相关，不适合高维空间的计算。
• 用对偶问题将最大值的最小值问题转化成最小值的最大值问题，可以先消掉w、b，将算法的复杂度降低到只依赖样本数。
• 用Smo算法可以先固定其它参数，只选择一个参数进行迭代，直到所有参数都正确，这种方法可以进一步降低算法的复杂度。
• 核函数将低维空间的属性转化到高维空间，解决样本线性不可分问题。

划分超平面求解

找到位于两类训练样本中间，可将样本正确分类的超平面。如果样本的特征属性是二维，该超平面属于一条直线，如果是三维则属于平面。

但能将训练样本分开的划分超平面有很多个，直观上看，应该去找位于两类分类样本“正中间”的划分超平面。该划分超平面对训练样本的扰动的“容忍性”最好，即对未见示例的泛化能力最强。

所以我们要找到的超平面，需要使得分类间隔最大化。即使到划分超平面最近的样本到划分超平面的距离尽可能做大。各类别向量空间中到划分超平面最近的正负样本称为支持向量（如下图经过虚线的样本点）。

通过正负样本支持向量，且与划分超平面平行的超平面称为正负超平面（下图虚线）。

划分超平面的走向实际上是由支持向量决定的，其它样本怎么分布对划分超平面没有任何影响。确定了支持向量，也就确定了划分超平面，但实际上，一开始并不知道那几个样本才是支持向量。

在做样本训练的时候，算出划分超平面跟找出支持向量是同步进行的。

a) 最大间隔距离公式

设划分超平面：

则正负超平面：

，

左右都除以c，可将上面两个式子进行简化（方面求解）：

划分超平面：