机器学习笔记 - Hard-Margin Support Vector Machine

目录

• Large-Margin Separating Hyperplane
• Distance to Separating Hyperplane
• Standard Large-Margin Hyperplane Problem
• Solving General SVM
• Summary

Large-Margin Separating Hyperplane

在下图所示三个分隔线中，虽然三条分隔线都在训练集上使得$E_{in}$为0，但是我们在直觉上会仍然倾向于认为第三条分隔线是最佳的。

较为直观的解释是，相较于第三条分隔线，第一条和第二条分隔线对于靠近训练集的数据点的判断可能不够精准，而第三条分隔线对于这些数据点而言，具有更好的鲁棒性。

具有更好的鲁棒性，就说明该分隔线具有更好的容错能力，我们希望找到这样一条线，这条线在训练集上到每个数据点距离越大越好，且正确分隔数据点，即$E_{in}$为0。

下图描述分隔线到训练集上数据点的间隔。

更具体地，可以将如何找到这样一条线描述为如下图所示的一个最优化问题：

即找到一个最大的超平面，既能正确的区分训练集上每一个数据点，且使距离超平面距离最近的数据点的距离最大，更进一步可以将上述问题写成以下形式：

Distance to Separating Hyperplane

我们用如下形式表示超平面：

以下图三维空间为例，其中，$w$为右图所示平面的法向量，$x'$为平面上一点

则点$x$到平面的距离可以表示为$x$到$w$的投影，如下图所示：

所以，原最优化问题可以改写为以下形式：

Standard Large-Margin Hyperplane Problem

由于缩放超平面的$w$与$b$的值并不影响超平面的形状，考虑一个特殊缩放$cw^T+cb=0$，使得$\min \limits_{n=1,...,N}y_n(w^Tx_n+b)=1$，

如下图：

通过这样的特殊缩放，使得原问题的目标函数与约束被简化为如下形式：

由于缩放后的等式约束 minn=1