第九章 支持向量机(一)

1. 感知机介绍（较详细） - 知乎 (zhihu.com)
2. 什么是感知机？ - 知乎 (zhihu.com)
3. (12 封私信 / 80 条消息) 如何通俗易懂地解释支持向量回归(support vector regression)? - 知乎 (zhihu.com)
4. (48条消息) SMO算法笔记及个人理解_smo算法步骤_Anchor_Jun的博客-CSDN博客
5. 支持向量机原理(四)SMO算法原理 - 刘建平Pinard - 博客园 (cnblogs.com)
6. 机器学习算法实践-SVM中的SMO算法 - 知乎 (zhihu.com)

---

感知机	二分类，线性，判别
假设空间	定义在特征空间中的所有线性分类模型
策略	定义损失函数并极小化，误分类点到超平面的总距离最小，直到为0
备注	超平面法向量，截距线性可分数据集
求解方式	梯度下降法，迭代极小化，迭代公式
备注1	感知机的解不唯一，和初值有关，和误分点的调整顺序有关

一 前言

近期参与到了手写AI的车道线检测的学习中去，以此系列笔记记录学习与思考的全过程。车道线检测系列会持续更新，力求完整精炼，引人启示。所需前期知识，可以结合手写AI进行系统的学习。

二 感知机简介

---

1. 感知机的激活函数是符号函数

2. 分离超平面将特征空间划分为两个部分，一部分是正类， 一部分是负类。法向量指向的一侧为正类，另一侧为负类

3. 简单易于实现

4. 感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别

5. 感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型前提：**感知器模型的前提是：**数据是线性可分的

目的：

感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型

2.1 损失函数

---

正确分类（预测和实际类别一致）：yθx>0，错误分类（预测和实际类别不一致）：yθx<0；
所以我们可以定义我们的损失函数为：期望使分类错误的所有样本(k条样本)到超平面的距离之和最小

$$L=\sum _{i=1}^k\frac{-y^{(i)}\theta \bullet x^{(i)}}{{\Vert \theta \Vert }_2}$$

因为此时分子和分母中都包含了θ值，当分子扩大N倍的时候，分母也会随之扩大，也就是说分子和分母之间存在倍数关系，所以可以固定分子或者分母为1，然后求另一个即分子或者分母的倒数的最小化作为损失函数，简化后的损失函数为（分母为1）:

$$L=-\sum _{i=1}^k{y}^{(i)}\theta \bullet x^{(i)}$$
求解损失函数

---

直接使用梯度下降法就可以对损失函数求解，不过由于这里的m是分类错误的样本点集合，不是固定的，所以我们不能使用批量梯度下降法(BGD)求解，只能使用随机梯度下降(SGD)或者小批量梯度下降(MBGD)

一般在感知器模型中使用SGD来求解

2.2 感知机算法的原始形式

---

输入：KaTeX parse error: Undefined control sequence: \mit at position 66: … \cal X=\bf R^n\̲m̲i̲t̲ ̲, y_i\in \cal Y…

输出：$w,b;f(x)=sign(w\cdot x+b)$

1. 选取初值$w_0,b_0$

2. 训练集中选取数据$(x_i,y_i)$

3. 如果$y_i(w\cdot x_i+b)⩽0$
   $$\begin{gathered} w\leftarrow w+\eta y_i{x}_i \\ b\leftarrow b+\eta y_i \end{gathered}$$

4. 转至(2)，直至训练集中没有误分类点

这种学习算法直观上有如下解释

当一个实例点被误分类，及位于分离超平面的错误一侧时，则调整w, b的值，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面的距离，直至超平面越过该误分类点使其被正确分类

感知机原始形式是收敛的

对于线性可分数据集，感知机学习算法原始形式收敛，即经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型

1. 定理表明，误分类的次数k是有上界的，经过有限次搜索可以找到将训练数据完全分开的分离超平面，也就是说，当训练数据集线性可分时，感知机学习算法原始形式迭代是收敛的

2. 感知机学习算法存在很多解，而为了得到唯一的超平面，需要对分离超平面增加约束条件，这就是之后会讲解的线性支持向量机的想法，当训练集线性不可分时，感知机学习算法不收敛，迭代结果会发生震荡

2.3 感知机算法的对偶形式

---

原始的感知机模型只关注了分类的正确性，并没有考虑到样本点之间的间隔。最大间隔目标函数引入了间隔的概念，通过最大化样本点到超平面的距离，来增加分类的鲁棒性和泛化能力

T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , … , N ; 0 < η ⩽ 1 T=\{(x_1,y_1),(x_2,y_2),\dots,(x_N,y_N)\}\\ x_i\in \cal{X}=\bf{R}^n , y_i\in \cal{Y} =\{-1,+1\}, i=1,2,\dots, N; 0< \eta \leqslant 1 T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)}xi​∈X=Rn,yi​∈Y={−1,+1},i=1,2,…,N;0<η⩽1

输出：
$$\begin{gathered} \alpha ,b;f(x)=sign\left(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b\right) \\ \alpha =({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N{)}^T \end{gathered}$$

1. $\alpha \leftarrow 0,b\leftarrow 0$

2. 训练集中选取数据$(x_i,y_i)$

3. 如果$y_i\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b\right)⩽0$

$$\begin{gathered} {\alpha }_i\leftarrow {\alpha }_i+\eta \\ b\leftarrow b+\eta y_i \end{gathered}$$

4. 转至(2)，直至训练集中没有误分类点

注意理解对偶性形式以及由来

对偶形式中训练实例仅以内积的形式出现，为了方便，可以预先将训练集中实例间的内积计算出来并以矩阵形式存储，这个矩阵就是所谓的Gram矩阵(Gram matrix)

$$G=[x_i\bullet x_j{]}_{M\times N}$$

$$\left[\begin{array}{cccc}{\alpha }_1{y}_1& {\alpha }_2{y}_2& \dots & {\alpha }_N{y}_N\end{array}\right]\left[\begin{array}{cccc}{x}_1{x}_1& x_1{x}_2& \dots & x_1{x}_N\\ x_2{x}_1& x_2{x}_2& \dots & x_2{x}_N\\ \dots & \dots & \dots & \dots \\ x_N{x}_1& x_N{x}_1& \dots & x_N{x}_N\end{array}\right]$$

2.4 关于感知机问题

---

1. $\eta =1$
2. ${\alpha }_i\leftarrow {\alpha }_i+1,b\leftarrow b+y_i$

以上：

1. 为什么$\eta$选了1，这样得到的值数量级是1
2. 这个表达式中用到了上面的$\eta =1$这个结果，已经做了简化

所以，这里可以体会下，调整学习率$\eta $的作用。学习率决定了参数空间

---

1. 损失函数 $L(w,b)=-{\sum }_{x_i\in M}{y}_i(w\cdot x_i+b)$,其中 $M$ 是错分的点集合，线性可分的数据集肯定能找到超平面 $S$， 所以这个损失函数最值是0

2. 如果正确分类， $y_i(w\cdot x_i+b)=|w\cdot x_i+b|$ ，错误分类的话，为了保证正数就加个负号，这就是损失函数里面那个负号，这个就是函数间隔

3. $\frac{1}{||w||}$ 用来归一化超平面法向量，得到几何间隔，也就是点到超平面的距离， 函数间隔和几何间隔的差异在于同一个超平面 $(w,b)$ 参数等比例放大成 $(kw,kb)$ 之后，虽然表示的同一个超平面，但是点到超平面的函数间隔也放大了，但是几何间隔是不变的

4. 具体算法实现的时候， $w$要初始化，然后每次迭代针对错分点进行调整，既然要初始化，那如果初始化个 $||w||=1$ 的情况也就不用纠结了，和不考虑 $\frac{1}{||w||}$ 是一样的了

三 约束优化问题

---

3.1 拉格朗日乘子法一般形式

---

拉格朗日乘子法就是当我们的优化函数存在等值约束的情况下的一种最优化求解方式；其中参
数α被称为拉格朗日乘子，要求α不等于0
$$\begin{array}{rl}& \underset{x}{\min }f(x)\\ & s.t:h_i(x)=0,i=1,2,...,p\\ & \\ & \downarrow \\ & \underset{x}{\min }f(x)+\sum _{i=1}^p{\alpha }_i{h}_i(x);{\alpha }_i\ne 0\end{array}$$

3.2 进一步拉格朗日探究

---

1. 非线性带来高维转换（模型）

2. 对偶表示带来内积（优化）

原问题和对偶问题满足强对偶关系的充要条件为其满足 KKT 条件

一般地，约束优化问题（原问题）可以写成：
$$
\begin{align}

&\min_{x\in\mathbb{R^p}}f(x)\
&s.t.\ m_i(x)\le0,i=1,2,\cdots,M\
&\ \ \ \ \ \ \ \ n_j(x)=0,j=1,2,\cdots,N

\end{align}
$$\ast \ast 定义Lagrange函数：\ast \ast$$
L(x,\lambda,\eta)=f(x)+\sum\limits_{i=1}^{M\lambda_im_i(x)+\sum\limits_{i=1}}N\eta_in_i(x)
$$
那么原问题可以等价于无约束形式：

$$\underset{x\in {\mathbb{R}}^p}{\min }\underset{\lambda ,\eta }{\max }L(x,\lambda ,\eta )s.t.{\lambda }_i\ge 0$$

这是由于，当满足原问题的不等式约束的时候，${\lambda }_i=0$ 才能取得最大值，直接等价于原问题，如果不满足原问题的不等式约束，那么最大值就为 $+\infty$，由于需要取最小值，于是不会取到这个情况

这个问题的对偶形式：
$$\underset{\lambda ,\eta }{\max }\underset{x\in {\mathbb{R}}^p}{\min }L(x,\lambda ,\eta )s.t.{\lambda }_i\ge 0$$
对偶问题是关于 $ \lambda, \eta$ 的最大化问题

由于：
$$\underset{{\lambda }_i,{\eta }_j}{\max }\underset{x}{\min }L(x,{\lambda }_i,{\eta }_j)\le \underset{x}{\min }\underset{{\lambda }_i,{\eta }_j}{\max }L(x,{\lambda }_i,{\eta }_j)$$

证明：显然有 $\underset{x}{\min }L\le L\le \underset{\lambda ,\eta }{\max }L$，于是显然有 $\underset{\lambda ,\eta }{\max }\underset{x}{\min }L\le L$，且 $\underset{x}{\min }\underset{\lambda ,\eta }{\max }L\ge L$。

对偶问题的解小于原问题，有两种情况：

1. **强对偶：**可以取等于号
2. **弱对偶：**不可以取等于号

其实这一点也可以通过一张图来说明：

对于一个凸优化问题，有如下定理：

如果凸优化问题满足某些条件如 Slater 条件，那么它和其对偶问题满足强对偶关系。记问题的定义域为：$\mathcal{D}=domf(x)\cap dom{m}_i(x)\cap dom{n}_j(x)$。于是 Slater 条件为：
$$\exists \hat{x}\in Relint\mathcal{D}s.t.\forall i=1,2,\cdots ,M,m_i(x)<0$$
其中 Relint 表示相对内部（不包含边界的内部）。

1. 对于大多数凸优化问题，Slater 条件成立
2. 松弛 Slater 条件，如果 M 个不等式约束中，有 K 个函数为仿射函数，那么只要其余的函数满足 Slater 条件即可

上面介绍了原问题和对偶问题的对偶关系，但是实际还需要对参数进行求解，求解方法使用 KKT 条件进行：

KKT 条件和强对偶关系是等价关系。KKT 条件对最优解的条件为：

1. 可行域：
   $$\begin{array}{r}{m}_i(x^{\ast })\le 0\\ n_j(x^{\ast })=0\\ {\lambda }^{\ast }\ge 0\end{array}$$

2. 互补松弛 ${\lambda }^{\ast }{m}_i(x^{\ast })=0,\forall m_i$，对偶问题的最佳值为 $d^{\ast }$，原问题为 $p^{\ast }$
   $$\begin{array}{rl}{d}^{\ast }& =\underset{\lambda ,\eta }{\max }g(\lambda ,\eta )=g({\lambda }^{\ast },{\eta }^{\ast })\\ & =\underset{x}{\min }L(x,{\lambda }^{\ast },{\eta }^{\ast })\\ & \le L(x^{\ast },{\lambda }^{\ast },{\eta }^{\ast })\\ & =f(x^{\ast })+\sum _{i=1}^M{\lambda }^{\ast }{m}_i(x^{\ast })\\ & \le f(x^{\ast })=p^{\ast }\end{array}$$

   为了满足相等，两个不等式必须成立，于是，对于第一个不等于号，需要有梯度为0条件，对于第二个不等于号需要满足互补松弛条件

3. 梯度为0：$\frac{\partial L(x,{\lambda }^{\ast },{\eta }^{\ast })}{\partial x}{|}_{x=x^{\ast }}=0$

四 支持向量机（Support Vector Machine）

---

4.1 简述

---

支持向量机	线性
核技巧	非线性
SVM	体现了结构风险最小化的思想
算法	最大间隔法

1. 基本模型是定义在特征空间上的间隔最大的线性分类器

2. 支持向量机还包括核技巧， 这使它称为实质上的非线性分类器

3. KKT条件是该最优化问题的充分必要条件

4. 样本比较多的时候，Boosting和RF往往能得到最好的效果，但是数据集较少的时候，SVM的效果可能会比较好

   1. 最大间隔法，针对线性可分支持向量机，直接求$w^{\ast },b^{\ast }$
   2. 学习的对偶算法，求$\alpha$进一步求$w^{\ast },b^{\ast }$
   3. 线性支持向量机的学习算法， 增加超参$C$，求$\alpha$进一步求$w^{\ast },b^{\ast }$
   4. 非线性支持向量机的学习算法，进一步引入核函数$K(x,z)$，求$\alpha$进一步求$b^{\ast }$
   5. 序列最小最优化

支撑向量机（SVM）算法在分类问题中有着重要地位，其主要思想是最大化两类之间的间隔。按照数据集的特点：

1. 线性可分问题，如之前的感知机算法处理的问题
2. 线性可分，只有一点点错误点，如感知机算法发展出来的 Pocket 算法处理的问题
3. 非线性问题，完全不可分，如在感知机问题发展出来的多层感知机和深度学习

这三种情况对于 SVM 分别有下面三种处理手段：

1. hard-margin SVM
2. soft-margin SVM
3. kernel Method

SVM 的求解中，大量用到了 Lagrange 乘子法，前期已经对这种方法进行了介绍。

4.2 原理

---

支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；现在的SVM算法支持线性分类和非线性分类的分类应用。并且也能够直接将SVM应用于回归应用中。SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法

思想：

在感知器模型中，我们可以找到多个可以分类的超平面将数据分开，并且优化时希望所有的点(预测正确的点)都离超平面尽可能的远，但是实际上离超平面足够远的点基本上都是被正确分类的，所以这个是没有意义的；反而比较关心那些离超平面很近的点，这些点比较容易分错。所以说我们只要让离超平面比较近的点尽可能的远离这个超平面，那么我们的模型分类效果应该就会比较不错喽。SVM其实就是这个思想

4.3 几个概念

---

1. **线性可分(**Linearly Separable)：在数据集中，如果可以找出一个超平面，将两组数据分开，那么这个数据集叫做线性可分数据

2. 线性不可分(Linear Inseparable)：在数据集中，没法找出一个超平面，能够将两组数据分开，那么这个数据集就叫做线性不可分数据

3. 分割超平面(Separating Hyperplane)：将数据集分割开来的直线/平面叫做分割超平面

4. 支持向量(Support Vector)：离分割超平面最近的那些点叫做支持向量

5. 间隔(Margin)：支持向量数据点到分割超平面的距离称为间隔

   

4.4 函数间隔与几何间隔

---

4.4.1 函数间隔

---

对于给定数据集$T$和超平面$(w,b)$，定义超平面$(w,b)$关于样本点$(x_i,y_i)$的函数间隔为
$${\hat{\gamma }}_i=y_i(w\cdot x_i+b)$$
定义超平面$(w,b)$关于训练数据集$T$的函数间隔为超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的函数间隔之最小值，即
$$\hat{\gamma }=\underset{i=1,\cdots ,N}{\min }{\hat{\gamma }}_i$$
函数间隔可以表示分类预测的正确性及确信度

但是选择分离超平面时，只有函数间隔还不够。因为只要成比例地改变w和例如将它们改为20和2超平面并没有改变，但函数间隔却成为原来的2倍。这一事实启示我们，可以对分离超平面的法向量w加某些约束，如规范化，w=1使得间隔是确定的。这时函数间隔成为几何间隔(geometricmargin)

4.4.2 几何间隔

---

$${\gamma }_i=y_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)$$

4.5 线性可分SVM

---

4.6 问题引入

---

点到平面的距离：$d=\frac{|A{x}_1+B{y}_1+C{z}_1+D|}{\sqrt{A^2+B^2+C^2}}$

支持向量到超平面的距离为：

∵ w T x + b = ± 1 ∵ y ∈ { + 1 , − 1 } ∴ ∣ ( w T x + b ) ∣ ∥ w ∥ 2 = 1 ∥ w ∥ 2 \begin{gathered} \because w^T x+b=\pm1 \\ \because y\in\left\{+1,-1\right\} \\ \therefore{\frac{\left|\left(w^{T}x+b\right)\right|}{\left\|w\right\|_{2}}}={\frac{1}{\left\|w\right\|_{2}}} \end{gathered} ∵wTx+b=±1∵y∈{+1,−1}∴∥w∥2​ ​(wTx+b) ​​=∥w∥2​1​​

**备注：**在SVM中支持向量到超平面的函数距离一般设置为1，简单理解就是可以等比例缩放

将间隔规定为1在SVM中是为了简化计算和优化问题，并保证模型的泛化能力和全局最优解的存在:

1. **硬间隔最大化：**设置间隔为1可以将SVM的优化问题转化为一个约束最优化问题。最大化间隔意味着将分类超平面尽可能地远离样本点，从而降低过拟合的风险。通过规定间隔为1，可以确保分类超平面的位置与样本点的距离至少为1，避免过度拟合训练数据
2. **凸优化问题：**通过规定间隔为1，SVM的优化目标可以转化为一个凸优化问题。凸优化问题具有全局最优解的性质，因此可以保证找到全局最优的分类超平面，即具有最大间隔的分类超平面。这有助于提高模型在新样本上的泛化能力
3. **结构风险最小化：**SVM的间隔定义反映了结构风险最小化的思想，即在最大化分类间隔的同时，尽可能减少误分类。通过将间隔规定为1，可以明确了模型对于误分类的容忍程度，有助于在保持泛化能力的同时解决优化问题

SVM模型是让所有的分类点在各自类别的支持向量远离超平面的一侧，同时要求支持向量尽可能的远离这个超平面，用数学公式表示如下：

$$\begin{array}{rl}& \underset{w,b}{\max }\frac{1}{{\Vert w\Vert }_2}\\ & s.t:y^{(i)}(w^T{x}^{(i)}+b)\ge 1,i=1,2,...,m\end{array}$$

4.7 损失函数

---

目标函数：

将此时的目标函数和约束条件使用KKT条件转换为拉格朗日函数，从而转换为无约束的优化函
数:

所以对于该优化函数而言，可以先求优化函数对于w和b的极小值，然后再求解对于拉格朗日乘
子β的极大值：

4.8 进一步优化损失函数

---

$$\begin{array}{rl}& \underset{\beta \ge 0}{\max }\underset{w,b}{\min }L(w,b,\beta )\\ & L(w,b,\beta )=\frac{1}{2}\Vert w{\Vert }_2^2+\sum _{i=1}^m{\beta }_i[1-y^{(i)}(w^{\bar{T}}{x}^{(i)}+b\left)\right],{\beta }_i\ge 0\end{array}$$

首先求让函数L极小化的时候w和b的取值，这个极值可以直接通过对函数L分别求w和b的偏导
数得到：

$$\begin{array}{rl}& \frac{\partial L}{\partial w}=0\Rightarrow w-\sum _{i=1}^m{\beta }_i{y}^{(i)}{x}^{(i)}=0\Rightarrow w=\sum _{i=1}^m{\beta }_i{y}^{(i)}{x}^{(i)}\\ & \\ & \frac{\partial cL}{\partial b}=0\Rightarrow -\sum _{i=1}^m{\beta }_i{y}^{(i)}=0\Rightarrow \sum _{i=1}^m{\beta }_i{y}^{(i)}=0\end{array}$$

带入(9)得：

$$\begin{array}{rl}e\left(\beta \right)& =\frac{1}{2}{\Vert w\Vert }_2^2+\sum _{i=1}^m{\beta }_i\left[1-y^{(i)}\left(w^T{x}^{(i)}+b\right)\right]\\ & =\frac{1}{2}{\Vert w\Vert }_2^2-\sum _{i=1}^m{\beta }_i\left[y^{(i)}\left(w^T{x}^{(i)}+b\right)-1\right]\\ & =\frac{1}{2}{w}^{T}w-\sum _{i=1}^m{\beta }_i{y}^{(i)}{w}^T{x}^{(i)}-\sum _{i=1}^m{\beta }_i{y}^{(i)}b+\sum _{i=1}^m{\beta }_i\\ & =\frac{1}{2}{w}^7\sum _{i=1}^m{\beta }_i{y}^{(i)}{x}^{(i)}-w^7\sum _{i=1}^m{\beta }_i{y}^{(i)}{x}^{(i)}-b\sum _{i=1}^m{\beta }_i{y}^{(i)}+\sum _{i=1}^m{\beta }_i\\ & =-\frac{1}{2}{w}^7\sum _{i=1}^m{\beta }_i{y}^{(i)}{x}^{(i)}-b\sum _{i=1}^m{\beta }_i{y}^{(i)}+\sum _{i=1}^m{\beta }_i\\ & =-\frac{1}{2}\left(\sum _{j=1}^m{\beta }_j{y}^{(j)}{x}^{(j)}{)}^T\right(\sum _{i=1}^m{\beta }_i{y}^{(i)}{x}^{(i)})+\sum _{i=1}^m{\beta }_i\\ & =-\frac{1}{2}\sum _{j=1}^m{\beta }_j{y}^{(j)}{x}^{(j{)}^{\prime }}\sum _{i=1}^m{\beta }_i{y}^{(i)}{x}^{(i)}+\sum _{i=1}^m{\beta }_i\\ & =\sum _{i=1}^m{\beta }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\beta }_i{\beta }_j{y}^{(i)}{y}^{(j)}{x}^{(j{)}^r}{x}^{(i)}\end{array}$$

进一步得到：

$$\begin{array}{c}\ell \left(\beta \right)=\sum _{i=1}^m{\beta }_i-\frac{1}{2}\sum _{i=1,j=1}^m{\beta }_i{\beta }_j{y}^{(i)}{y}^{(j)}{x}^{(i{)}^i}{x}^{(j)}\\ s.t:\sum _{i=1}^m{\beta }_i{y}^{(i)}=0\\ {\beta }_i\ge 0,i=1,2,...,m\end{array}$$

通过对w、b极小化后，我们最终得到的优化函数只和β有关，所以此时我们可以直接极大化我们优化函数，得到β的值，从而可以最终得到w和b的值

得到支持向量：

根据KKT条件中的对偶互补条件${\beta }_t\left(y^{(i)}\left(w^t{x}^{(i)}+b\right)-1\right)=0$，如果βi>0则yi(wTxi+b)=1 即点在支持向量上，否则如果βi=0则有yi(wTxi+b)≥1，即样本在支持向量上或者已经被正确分类

4.9 算法流程

---

4.10 总结

---

1. 要求数据必须是线性可分的
2. 纯线性可分的SVM模型对于异常数据的预测可能会不太准
3. 对于线性可分的数据，线性SVM分类器的效果非常不错

网络总结：

优点:

1. 可以解决高维问题，即大型特征空间
2. 解决小样本下机器学习问题
3. 能够处理非线性特征的相互作用
4. 无局部极小值问题；（相对于神经网络等算法）
5. 无需依赖整个数据
6. 泛化能力比较强

缺点:

1. 当观测样本很多时，效率并不是很高
2. 常规SVM只支持二分类
3. 对缺失数据敏感

五 软间隔模型

---

5.1 简述

---

线性可分SVM中要求数据必须是线性可分的，才可以找到分类的超平面，但是有的时候线性数据集中存在少量的异常点，由于这些异常点导致了数据集不能够线性划分；直白来讲就是：正常数据本身是线性可分的，但是由于存在异常点数据，导致数据集不能够线性可分

5.2 硬间隔与软间隔

---

5.3 软间隔模型

---

松弛因子(ξ)越大，表示样本点离超平面越近，如果松弛因子大于1，那么表示允许该样本点分错，所以说加入松弛因子是有成本的，过大的松弛因子可能会导致模型分类错误，所以最终的目标函数转换成为:

$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }_2^2+C\sum _{i=1}^m{\xi }_i\\ & s.t:y^{(i)}(w^T{x}^{(i)}+b)\ge 1-{\xi }_i,i=1,2,...,m\\ & {\xi }_i\ge 0,i=1,2,...,m\end{array}$$

**备注：**函数中的C>0是惩罚参数，是一个超参数，类似L1/L2 norm的参数；C越大表示对误分类的惩罚越大，也就是越不允许存在分错的样本；C越小表示对误分类的惩罚越小， 也就是表示允许更多的分错样本存在；C值的给定需要调参

得到模型：

5.4 求解

---

先求优化函数对于w、b、ξ的极小值，这个可以通过分别对优化函数L求w、b、ξ的偏导数得，
从而可以得到w、b、ξ关于β和μ之间的关系

$$\begin{array}{rl}& L[\left(w,b,\xi ,\beta ,\mu \right)=\frac{1}{2}{\Vert w\Vert }_2^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\beta }_i\left[1-{\xi }_i-y^{(i)}\left(w^{\tau }{x}^{(i)}+b\right)\right]-\sum _{i=1}^m{\mu }_i{\xi }_i,{\beta }_i\ge 0,{\mu }_i\ge 0\\ & \frac{\partial L}{\partial w}=0⟹w-\sum _{i=1}^m{\beta }_i{y}^{(i)}{x}^{(i)}=0\Rightarrow w=\sum _{i=1}^m{\beta }_i{y}^{(i)}{x}^{(i)}\\ & \frac{\partial L}{\partial b}=0\Rightarrow -\sum _{i=1}^m{\beta }_i{y}^{(i)}=0⟹\sum _{i=1}^m{\beta }_i{y}^{(i)}=0\\ & \frac{\partial L}{\partial {\xi }_i}=0\Rightarrow C-{\beta }_i-{\mu }_i=0\end{array}$$

将w、b、ξ的值带入L函数中，就可以消去优化函数中的w、b、ξ，定义优化之后的函数如下：

$$\begin{array}{rl}e\left(\beta ,\mu \right)& =\frac{1}{2}{\Vert w\Vert }_2^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\beta }_i\left[1-{\xi }_i-y^{(i)}\left(w^T{x}^{(i)}+b\right)\right]-\sum _{i=1}^m{\mu }_i{\xi }_i\\ & =\frac{1}{2}\Vert w{\Vert }_2^2-\sum _{i=1}^m{\beta }_i\left[y^{(i)}\left(w^T{x}^{(i)}+b\right)-1+{\xi }_i\right]+\sum _{i=1}^m\left(C-{\mu }_i\right){\xi }_i\\ & =\frac{1}{2}\Vert w{\Vert }_2^2-\sum _{i=1}^m{\beta }_i\left[y^{(i)}\left(w^T{x}^{(i)}+b\right)-1\right]\\ & =\frac{1}{2}{w}^{\bar{T}}w-\sum _{i=1}^m{\beta }_i{y}^{(i)}{w}^{\bar{T}}{x}^{(i)}-\sum _{i=1}^m{\beta }_i{y}^{(i)}b+\sum _{i=1}^m{\beta }_i\\ & =-\frac{1}{2}{w}^7\sum _{i=1}^m{\beta }_i{y}^{(i)}{x}^{(i)}-b\sum _{i=1}^m{\beta }_i{y}^{(i)}+\sum _{i=1}^m{\beta }_i\\ & =-\frac{1}{2}\left(\sum _{i=1}^m{\beta }_i{y}^{(i)}{x}^{(i)}{)}^T\right(\sum _{i=1}^m{\beta }_i{y}^{(i)}{x}^{(i)})+\sum _{i=1}^m{\beta }_i\\ & =-\frac{1}{2}\sum _{i=1}^m{\beta }_i{y}^{(i)}{x}^{(i{)}^j}\sum _{i=1}^m{\beta }_i{y}^{(i)}{x}^{(i)}+\sum _{i=1}^m{\beta }_i\\ & =\sum _{i=1}^m{\beta }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\beta }_i{\beta }_j{y}^{(i)}{y}^{(j)}{x}^{(i{)}^{\bar{j}}}{x}^{(j)}\end{array}$$

进一步得到：

$$\begin{array}{c}\ell \left(\beta \right)=\sum _{i=1}^m{\beta }_i-\frac{1}{2}\sum _{i=1,j=1}^m{\beta }_i{\beta }_j{y}^{(i)}{y}^{(j)}{x}^{(i{)}^{\tau }}{x}^{(j)}\\ s.t:\sum _{i=1}^m{\beta }_i{y}^{(i)}=0\\ C-{\beta }_i-{\mu }_i=0\\ {\beta }_i\ge 0,i=1,2,...,m\\ {\mu }_i\ge 0,i=1,2,...,m\end{array}$$

最终优化后的目标函数/损失函数和线性可分SVM（硬间隔）模型基本一样，除了约束条件不同
而已， 也就是说也可以使用SMO算法来求解

5.5 支持向量

---

5.6 算法流程

---

5.7 总结

---

1. 可以解决线性数据中携带异常点的分类模型构建的问题
2. 通过引入惩罚项系数(松弛因子)，可以增加模型的泛化能力，即鲁棒性
3. 如果给定的惩罚项系数C越小，表示在模型构建的时候，就允许存在越多的分类错误的样本， 也就表示此时模型的准确率会比较低；如果惩罚项系数越大，表示在模型构建的时候，就越不允许存在分类错误的样本，也就表示此时模型的准确率会比较高