【白板推导系列笔记】支持向量机-硬间隔SVM-模型定义

支撑向量机（SVM）算法在分类问题中有着重要地位，其主要思想是最大化两类之间的间隔。按照数据集的特点：

1. 线性可分问题，如之前的感知机算法处理的问题
2. 线性可分，只有一点点错误点，如感知机算法发展出来的 Pocket 算法处理的问题
3. 非线性问题，完全不可分，如在感知机问题发展出来的多层感知机和深度学习

作者：tsyw的个人空间_哔哩哔哩_bilibili
链接：支撑向量机 · 语雀 (yuque.com)

假如数据是完全的线性可分的，那么学习到的模型可以称为硬间隔支持向量机。换个说法，硬间隔指的就是完全分类准确，不能存在分类错误的情况。软间隔，就是允许一定量的样本分类错误。

作者：燕双嘤
链接：机器学习：支持向量机（SVM）燕双嘤的博客-CSDN博客 支持向量机

这三种情况对于 SVM 分别有下面三种处理手段：

1. hard-margin SVM
2. soft-margin SVM
3. kernel Method

作者：tsyw的个人空间_哔哩哔哩_bilibili
链接：支撑向量机 · 语雀 (yuque.com)

这里我们先谈硬间隔。在感知机算法中，如果两类线性可分，一般情况下，会存在无穷多条线。在SVM中，一个超平面，不仅能将数据正确分类，而且这个超平面到不同类之间距离最大
数据集为
{ ( x i , y i ) } i = 0 N , x i ∈ R p , y i ∈ { − 1 , 1 } \left\{(x_{i},y_{i})\right\}_{i=0}^{N},x_{i}\in \mathbb{R}^{p},y_{i}\in \left\{-1,1\right\} {(xi​,yi​)}i=0N​,xi​∈Rp,yi​∈{−1,1}
该超平面可以被写作
$${\omega }^{T}x+b=0$$
正确分类数据可表示为
$$y_i({\omega }^T{x}_i+b)>0,i=1,2,\cdots ,N$$
因此，最大化数据到超平面的间隔就可以被表达为
$$\{\begin{array}{rl}& \max \text{margin}(\omega ,b)\\ & s.t.y_i({\omega }^T{x}_i+b)>0.i=1,2,\cdots ,N\\ & \begin{array}{rl}\text{margin}(\omega ,b)& =\underset{\begin{array}{c}\omega ,b\\ x_i,i=1,2,\cdots ,N\end{array}}{\min }\text{distance}(\omega ,b,x_i)\\ & =\underset{\begin{array}{c}\omega ,b\\ x_i,i=1,2,\cdots ,N\end{array}}{\min }\frac{1}{||\omega ||}({\omega }^T{x}_i+b)\end{array}\end{array}$$
这里的margin是指数据集中离超平面最近的点到超平面的距离，因此，上式等价于
$$\{\begin{array}{rl}& \underset{\omega ,b}{\max }\underset{x_i=1,2,\cdots ,N}{\min }\frac{1}{||\omega ||}{y}_i({\omega }^T{x}_i+b)=\underset{\omega ,b}{\max }\frac{1}{||\omega ||}\underset{x_i=1,2,\cdots ,N}{\min }{y}_i({\omega }^T{x}_i+b)\\ & s.t.y_i({\omega }^T{x}_i+b)>0,i=1,2,\cdots ,N\end{array}$$
这里我们研究$\underset{x_i=1,2,\cdots ,N}{\min }{y}_i({\omega }^T+b)$。
由于${\omega }^{T}x+b=0$和$a{\omega }^{T}x+ab=0,a\in \mathbb{R},a\ne 0$这两个超平面表示的是同一个超平面，因此我们假设
$$\underset{x_i=1,2,\cdots ,N}{\min }{y}_i({\omega }^T{x}_i+b)=a,a\in \mathbb{R}$$
令$\begin{array}{r}{\omega }^T=\frac{{\hat{\omega }}^T}{a},b=\frac{\hat{b}}{a}\end{array}$，因此有
$$\underset{x_i=1,2,\cdots ,N}{\min }{y}_i({\hat{\omega }}^T{x}_i+\hat{b})=1$$
因此我们就可以在数据集线性可分的任何情况下，令$\underset{x_i=1,2,\cdots ,N}{\min }{y}_i({\hat{\omega }}^T{x}_i+\hat{b})=1$，因此最大化数据到超平面的间隔就可以被表达为
$$\begin{array}{rl}& \{\begin{array}{rl}& \underset{\omega ,b}{\max }\frac{1}{||\omega ||}\\ & s.t.\min y_i({\omega }^T{x}_i+b)=1,i=1,2,\cdots ,N\\ & s.t.y_i({\omega }^T{x}_i+b)>0,i=1,2,\cdots ,N\end{array}\\ \Rightarrow & \{\begin{array}{rl}& \underset{\omega ,b}{\min }\frac{1}{2}{\omega }^T\omega \\ & s.t.y_i({\omega }^T{x}_i+b)\ge 1,\underset{N个约束}{\underbrace{i=1,2,\cdots ,N}}\end{array}\end{array}$$

CSDN话题挑战赛第2期
参赛话题：学习笔记