机器学习-白板推导系列笔记（六）-SVM

此文章主要是结合哔站shuhuai008大佬的白板推导视频：支持向量机_178min

全部笔记的汇总贴：机器学习-白板推导系列笔记

一、硬间隔SVM

（一）模型定义

假设有以下数据：

{ ( x i , y i ) } i = 1 N , x i ∈ R p , y i ∈ { + 1 , − 1 } \left \{(x_{i},y_{i})\right \}_{i=1}^{N},x_{i}\in \mathbb{R}^{p},y_{i}\in \{+1,-1\} { (xi​,yi​)}i=1N​,xi​∈Rp,yi​∈{ +1,−1}

SVM的主要思想是在特征空间中寻找一个最大间隔的超平面$w^{T}x+b$实现数据的二分类，SVM属于判别模型。这里的间隔指的是样本点到分离超平面的距离的最小值，用函数$margin(w,b)$来表达。下图中在$w\cdot x+b=1$和$w\cdot x+b=-1$线上的样本点就叫支持向量：

超平面实现将数据的正例和负例分隔开，因此有：

$$\begin{array}{c}{y}_i=+1,w^T{x}_i+b>0\\ y_i=-1,w^T{x}_i+b<0\end{array}\}{y}_i(w^T{x}_i+b)>0,for\forall i=1,2,\cdots ,N$$

另外最大间隔通过以下方式来表达：

$①$首先要明确样本点到超平面的距离公式：
$$distance(w,b,x_i)=\frac{\left|w^{T}x+b\right|}{\Vert w\Vert }$$
(可以参考初中知识点：点到直线距离$d=\frac{|Ax+By+C|}{\sqrt{A^2+B^2}})$

$②$ 因此间隔可以表达为：
$$margin(w,b)=\underset{x_i}{\min }distance(w,b,x_i)=\underset{x_i}{\min }\frac{\left|w^T{x}_i+b\right|}{\Vert w\Vert },i=1,2,\cdots ,N$$
$③$ 最大间隔可以表达为：
$$\underset{w,b}{\max }margin(w,b)=\underset{w,b}{\max }\underset{x_i}{\min }\frac{\left|w^T{x}_i+b\right|}{\Vert w\Vert }=\underset{w,b}{\max }\underset{x_i}{\min }\frac{y_i(w^T{x}_i+b)}{\Vert w\Vert },i=1,2,\cdots ,N$$

然后求解支持向量机就可以转化为以下带约束的优化问题：

$$\{\begin{array}{c}\underset{w,b}{\max }margin(w,b)=\underset{w,b}{\max }\underset{x_i}{\min }\frac{y_i(w^T{x}_i+b)}{\Vert w\Vert },i=1,2,\cdots ,N\\ s.t.y_i(w^T{x}_i+b)>0,i=1,2,\cdots ,N\end{array}$$

上述优化问题还可以进一步转化：

由约束：$y_i(w^T{x}_i+b)>0,i=1,2,\cdots ,N$，可以得出$\exists \gamma >0$，使得$\underset{x_i}{\min }{y}_i(w^T{x}_i+b)=\gamma$
由于确定同一个超平面的$w,b$可以任意放缩，所以这里的$\gamma$ 可以约束等于$1$。

则$$\begin{gathered} \underset{w,b}{\max }margin(w,b) \\ =\underset{w,b}{\max }\underset{x_i}{\min }\frac{y_i(w^T{x}_i+b)}{\Vert w\Vert } \\ =\underset{w,b}{\max }\frac{1}{\Vert w\Vert }\underset{=\gamma =1}{\underbrace{\underset{x_i}{\min }{y}_i(w^T{x}_i+b)}} \\ =\underset{w,b}{\max }\frac{1}{\Vert w\Vert } \\ =\underset{w,b}{\min }\frac{1}{2}{w}^{T}w \\ i=1,2,\cdots ,N \end{gathered}$$

由此上述优化问题转化为：

$$\{\begin{array}{c}\underset{w,b}{\min }\frac{1}{2}{w}^{T}w\\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\cdots ,N\end{array}$$

这是一个带$N$个约束的凸优化问题。

（二）优化问题的转化

上述优化问题可以使用拉格朗日乘子法来求解，构建拉格朗日函数：

$$\begin{gathered} L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i(1-y_i(w^T{x}_i+b)) \\ \lambda ={\left(\begin{array}{cccc}{\lambda }_1& {\lambda }_2& \cdots & {\lambda }_N\end{array}\right)}^T \end{gathered}$$

然后上述优化问题就可以转换为以下优化问题：

$$\{\begin{array}{c}\underset{w,b}{\min }\underset{\lambda }{\max }L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+{\sum }_{i=1}^N{\lambda }_i(1-y_i(w^T{x}_i+b))\\ s.t.{\lambda }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

我们可以简单地看一下为什么可以这么转化：

$$当1-y_i(w^T$$