机器学习 -- 支持向量机SVM（Ⅱ 支持向量机思想 Hard Margin SVM）

一. 数学基础

（1）点到直线的距离：

点(x, y)到直线Ax + By + C = 0的距离为：

       （与截距C无关）

（2）拓展到n维空间：

    ==>   

其中：

 

二. 数学推导支持向量机思想

 

如图所示，用于分类的超平面可以用函数  表示。

我们可以做如下定义：当f(x) = 0时，x便是位于超平面的点；f(x) > 0的点对应y = 1的数据点，f(x) < 0的点对应y = -1的点。

（1）位于两端的点到 的距离大于等于d，则有如下不等式（拆开分子绝对值）：

（2）进行整理，两边同时除以d（d > 0）：

（3）由于分母是一个具体的数（记m = ||w||d），可以将左式看成分子中w向量中的每一个元素都除以m，加上截距b除以m。记新的w向量和截距分别为

则上式进一步化为：

（4）可得上下两条直线方程：

（5）由于中间直线右边为0，则也可同除以m，得：

（6）统一了两个未知量，则将其分别重新命名为w和b以便后面使用。

（7）将上两式合成一个式子为：

即对于所有数据点都满足上式。

对于任意支持向量x，最大化d即  。而两侧的支持向量满足 。故目标变成 ，即min||w||。通常我们计算中使用  （方便求导操作）。

 

故支持向量机算法便转换成如下最优化问题：（有条件的最优化问题）

，限定条件(s.t.)为：。