周志华《机器学习》西瓜书 小白Python学习笔记（七） ———— 第六章 支持向量机SVM

什么是SVM

支持向量机（support vector machines，SVM）的基本定义为在特征空间上的间隔最大的线性分类器，那么什么是间隔最大的线性分类器呢？

看这张图，样本空间为 { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } \{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\} { (x1​,y1​),(x2​,y2​),...,(xn​,yn​)}n个点，$y$表示标签取值为-1或1，即图中的黑、白两类点，我们试图找到一个超平面将两类点分隔开，如图，设超平面的表达式为$$\mathbf{w}\mathbf{x}+b=0$$
那么对于黑、白两种点分别有：
$$\{\begin{array}{r}\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b>0\\ \mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b<0\end{array}$$
经过$\mathbf{w}$和$b$的放缩可以整理成
$$\{\begin{array}{rlr}& \mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b\ge 1,y_i=1& \\ & \mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b\le -1,y_i=-1& \end{array}$$
使得两类点中距离这个超平面最近的点有 $\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b=1,-1$(即图片中标红的的点)，这些点对应的就是支持向量。
根据数学知识，样本空间内任意一个点${\mathbf{x}}_{\mathbf{i}}$到这个超平面的距离为
$$d_i=\frac{|\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b|}{\Vert \mathbf{w}\Vert }$$
研究支持向量对应的点到超平面的距离时，就变成了
$$d=\frac{1}{\Vert \mathbf{w}\Vert }$$
刚才所说的间隔最大的线性分类器中的“间隔”就是指的这个啦！
最优化函数即为
$$max\frac{1}{\Vert \mathbf{w}\Vert }$$
条件是$w$能将两类点分隔开，即 $\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b$与$y_i$同号，又因为$|\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b|\ge 1,y=1,-1$，所以可以表示为
$$y_i\left(w{x}_i+b\right)\ge 1,i=1,\dots ,n$$
这就是支持向量机的由来。

SVM求解过程

转化为Lagrange对偶问题

回到之前得到的目标函数：
$$max\frac{1}{\Vert \mathbf{w}\Vert }$$
$$s.t.y_i\left(w{x}_i+b\right)\ge 1,i=1,\dots ,n$$
可以转化成：
$$min\frac{1}{2}{\Vert \mathbf{w}\Vert }^2$$
$$s.t.y_i\left({\mathbf{w}\mathbf{x}}_i+b\right)\ge 1,i=1,\dots ,n$$
对于这个凸二次规划问题，可以通过拉格朗日对偶性质，将其转化为原问题的对偶问题进行求解。首先根据拉格朗日乘子法得到：
$\mathcal{L}(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-{\sum }_{i=1}^n{\alpha }_i\left(y_i\left(w{x}_i+b\right)-1\right)$
其中${\alpha }_i\ge 0,i=1,2,...,n$
我们令
$$\theta (w)=\underset{{\alpha }_i\ge 0}{\max }\mathcal{L}(w,b,\alpha )$$
易知，只有当这个超平面将两类样本全部分隔开即所有约束条件都满足，即$y_i\left(w{x}_i+b\right)\ge 1,i=1,\dots ,n$时，$\theta (w)=\frac{1}{2}\Vert w{\Vert }^{}$