SVM目标函数的一些理解

写在前面

学习SVM的对目标函数有些疑问，做了一些笔记。感谢ZKX同学提供的帮助，（PS：这篇博客可能会继续更新

SVM

我们的问题是设定一个超平面，去最大化样本点和这个超平面的距离，这个距离我们称之为Margin（间隔）。

$$\gamma =\underset{i}{\min }{\gamma }^{(i)}$$

函数间隔 Functional margin：

这一点老师的PPT上并没有给出来，所以可能学习的时候有些混淆。

$${\hat{\gamma }}^{(i)}=y^{(i)}\left({\omega }^T{x}^{(i)}+b\right)$$

这里我们扩大$\omega ,b$ n 倍数会改变$\hat{\gamma }$。因此我们引入几何间隔。

几何间隔 Geometric margin ：

$${\gamma }^{(i)}=y^{(i)}\left({\left(\frac{\omega }{\Vert \omega \Vert }\right)}^T{x}^{(i)}+\frac{b}{\Vert \omega \Vert }\right)$$

几何间隔具有缩放不变性：

$$\begin{array}{rl}{\gamma }^{(i)}& =y^{(i)}\left({\left(\frac{c\cdot \omega }{\Vert c\cdot \omega \Vert }\right)}^T{x}^{(i)}+\frac{c\cdot b}{\Vert c\cdot \omega \Vert }\right)\\ & =y^{(i)}\left({\left(\frac{\omega }{\Vert \omega \Vert }\right)}^T{x}^{(i)}+\frac{b}{\Vert \omega \Vert }\right)\end{array}$$

有了这个性质我们可以对求解目标进行限制，简化优化问题。

这里要注意：如果$|\omega |=1$,那么函数间隔和几何间隔相等。如果超平面参数$\omega$和$b$成比例地改变（超平面没有改变）,函数间隔也按此比例改变，而几何间隔不变。

SVM的目标问题：

$$\underset{\omega ,b}{\max }\underset{i}{\min }\left\{{\gamma }^{(i)}\right\}$$

目标问题可以转化为：

$$\begin{array}{ll}{\max }_{\gamma ,\omega ,b}& \gamma \\ \text{s.t.}& {\gamma }^{(i)}\ge \gamma ,\forall i\end{array}$$

其中，间隔为函数间隔：

$${\gamma }^{(i)}=y^{(i)}\left({\left(\frac{\omega }{\Vert \omega \Vert }\right)}^T{x}^{(i)}+\frac{b}{\Vert \omega \Vert }\right)$$

因此目标问题转化为：

$$\begin{array}{ll}{\max }_{\gamma ,\omega ,b}& \gamma \\ \text{s.t.}& y^{(i)}\left({\omega }^T{x}^{(i)}+b\right)\ge \gamma \Vert \omega \Vert \forall i\end{array}$$

利用几何间隔不变性，一方面为了使优化目标更加简单。

另一方面有点类似于标准化的思想因为不同模型由于数据分布的原因,$\omega$和$b$可能会大不相同（数据集1的分法和数据集2的分法结果的好坏因为$\omega$和$b$比例的不同难以直观比较）。但是把他们的最小间隔都设置为1后，就有比较性了。同一个数据的不同超平面，也有了比较的方法
$$\underset{i}{\min }\left\{y^{(i)}\left({\omega }^T{x}^{(i)}+b\right)\right\}=1$$

即令最小间隔为$\frac{1}{\Vert \omega \Vert }$：

$$\gamma =\underset{i}{\min }\left\{y^{(i)}\left({\left(\frac{\omega }{\Vert \omega \Vert }\right)}^T{x}^{(i)}+\frac{b}{\Vert \omega \Vert }\right)\right\}=\frac{1}{\Vert \omega \Vert }$$

因此目标问题变为：

$$\begin{array}{ll}{\max }_{\omega ,b}& 1/\Vert \omega \Vert \\ \text{ s.t. }& y^{(i)}\left({\omega }^T{x}^{(i)}+b\right)\ge 1,\forall i\end{array}$$

又仅为最小化$\frac{1}{\Vert \omega \Vert }$等价于最大化$\Vert \omega {\Vert }^2={\omega }^T\omega$（这样凑是为了满足二次规划形式）

最终目标函数即为：

$$\begin{array}{l}{\min }_{\omega ,b}{\omega }^T\omega \\ \text{ s.t. }{y}^{(i)}\left({\omega }^T{x}^{(i)}+b\right)\ge 1,\forall i\end{array}$$

参考文献

SVM - Understanding the math - the optimal hyperplane

Lecture 6: Support Vector Machine

从零构建支持向量机(SVM)

svm函数的解释（转载）