SVM学习笔记

基础

本文基本上参考《李航-统计学习方法》进行学习、排版。

1. 二类分类模型；
2. 基本模型是定义在特征空间上、间隔最大的线性分类器；
3. 学习策略是间隔最大化，可形式化为求解凸二次规划问题，等价于正则化的损失函数最小化问题；
4. 和感知机有何区别：SVM是间隔最大化；
5. 模型细分类：
   （1）线性可分支持向量机：数据线性可分时，通过硬间隔最大化，学习线性上分类的SVM。
   （2）线性支持向量机（软间隔支持向量机）：数据近似线性可分时，通过软间隔最大化，学习线性SVM。
   （3）非线性支持向量机：数据线性不可分，通过核技巧（kernal） 以及软间隔最大化，学习非线性的SVM。
6. 核函数（kernal）：
   输入空间为欧氏空间（多维），或者离散集合，特征空间为希尔伯特空间（完备性）时，核函数表示了，从输入空间映射到特征空间得到的特征向量之间的内积。（之后再解释）
7. 最开始应该如何定义数据集和系数的维度？笔者不太理解《李航-统计学习方法》中，在对偶问题中，是否直接将$x_i$视作一个点？
   笔者的理解：
   单个点计算情况

$y_i$	($w$	$x_i$	+	$b$ )
1*1	1*d	d*1		1*1

$$Y=\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_n\end{array}\right]$$

$$\omega =\left[\begin{array}{c}{\omega }_1\\ {\omega }_2\\ ...\\ {\omega }_d\end{array}\right]$$

$$x_i=\left[\begin{array}{c}{x}_{i,1}\\ x_{i,2}\\ ...\\ x_{i,d}\end{array}\right]$$

$$X=\left[\begin{array}{c}{x}_1^T\\ x_2^T\\ ...\\ x_n^T\end{array}\right]$$

7.1 线性可分SVM

7.1.1 线性可分SVM定义

假设给定一个特征空间上的训练数据集为：
T = { ( x 1 , y 1 ) , . . . , ( x i , y i ) , . . . , ( x N , y N ) } T= \{ (x_1,y_1),...,(x_i,y_i),...,(x_N,y_N) \} T={(x1​,y1​),...,(xi​,yi​),...,(xN​,yN​)}

$$y_i\in y=[-1,+1]$$

其中，$x_i\in x\equiv R^n$ 称作第i个特征向量，或者实例（理解为样本点）。

定义7.1（线性可分SVM）： 这里是引用《李航-统计学习方法》
给定的线性可分训练数据集，通过间隔最大化或者等价求解 —> 凸二次规划问题，学习到模型即分离超平面，以及判断函数：
$$\begin{gathered} w^{\ast }\ast x+b=0 \\ f(x)=sign(w^{\ast }\ast x+b)\text{\hspace{1em}(7.1)} \end{gathered}$$

7.1.2 函数间隔和几何间隔

函数间隔概念：分类准确度存在确定程度，在确定$w^{\ast }\ast x+b=0$ 的超平面之后，能够得到目标点距离超平面的距离，距离越远，说明判断的确信程度更高。利用变量$y(w^{\ast }\ast x+b)$来表示正确性和确信程度。

定义7.2（函数间隔，有hat）： 这里是引用《李航-统计学习方法》
给定的数据集T以及超平面$(w,b)$，定义样本点和超平面的函数间隔为
$$\widehat{{\gamma }_i}=y_i\ast (w\ast x_i+b)\text{\hspace{1em}(7.3)}$$
此外，定义超平面$(w,b)$关于训练数据集T的函数间隔为超平面关于所有样本点的函数间隔的最小值【也就是，最靠近】
$$\hat{\gamma }=min\widehat{{\gamma }_i}\text{\hspace{1em}(7.4)}$$

定义7.3（几何间隔，无hat）： 这里是引用《李航-统计学习方法》
由于$w$的值对于距离有影响，所以需要进行规范化，使得它的范数为1。如果$||w||=1$则两种间隔相同。
$${\gamma }_i=y_i\ast (\frac{w}{||w||}\ast x_i+\frac{b}{||w||})\text{\hspace{1em}(7.5)}$$
类推，超平面关于关于训练数据集T的几何间隔为超平面关于所有样本点的几何间隔的最小值【也就是，最靠近】
$$\gamma =min{\gamma }_i\text{\hspace{1em}(7.6)}$$

所以得知，几何间隔$\gamma$与函数间隔$\hat{\gamma }$有如下关系：
$$\gamma =\frac{\hat{\gamma }}{||\omega ||}\text{\hspace{1em}(7.8)}$$

7.1.3 间隔最大化（学习策略）

直观解释：找到“几何间隔”最大化的超平面，以达到最大的确信程度来进行分类。（尚未涉及可能出现分类混杂于彼此的样本小现象）

1. 最大间隔分离超平面
   $$\begin{gathered} \underset{w,b}{\max }\gamma \\ subjectto{\gamma }_i=y_i\ast (\frac{w}{||w||}\ast x_i+\frac{b}{||w||}) \\ \gamma =\min {\gamma }_i \end{gathered}$$
   由于几何间隔的“地板”为$\gamma$，然后再最大化这个指标，写作：
   $$\begin{gathered} \underset{w,b}{\max }\gamma \\ s.t.y_i\ast (\frac{w}{||w||}\ast x_i+\frac{b}{||w||})\ge \gamma \text{\hspace{1em}(7.10)} \end{gathered}$$
   写成函数间隔（带hat）的形式，可能存在$\lambda$使得距离进行拉伸，
   $\lambda w,\lambda b-->\lambda \gamma$，所以取$\hat{\gamma }=1$
   $$\begin{gathered} \underset{w,b}{\max }\frac{\hat{\gamma }}{||\omega ||} \\ s.t.y_i\ast (\omega \ast x_i+b)\ge \hat{\gamma }\text{\hspace{1em}(7.10)} \end{gathered}$$
   重新写最优化问题：
   $$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w\ast x_i+b)-1\ge 0,i=1,2,...,N \end{gathered}$$
   求解之后，得到：超平面+分类决策函数

2. 最大间隔分离超平面的存在性及唯一性
   存在性：数据集线性可分，而且目标函数有下界，因此有解。而且，如果$w=0$则无法单纯依靠系数$b$得到分类，因此解满足$w̸=0$
   唯一性：分别证明$w$以及$b$
   （1）证明$w$：
   假设有两个$w$符合要求，即$(w_1,b_1)$以及$(w_2,b_2)$；
   因为取最优的最小值，得到$||w_1||=||w_2||=const$；
   令$w=\frac{w_1+w_2}{2}$以及$b=\frac{b_1+b_2}{2}$，则没法达到最小值，有$c\le ||w||$；
   依靠模的计算，有$||w||\le \frac{1}{2}||w_1||+\frac{1}{2}||w_2||=c$；
   （夹逼）因此有$||w||=\frac{1}{2}||w_1||+\frac{1}{2}||w_2||$，$w_1,w_2$角度为0，方向相同，$w_1=\lambda w_2,|\lambda |=1$，$\lambda$取-1时，则$w=0$不满足存在性，应该取1，则有$w_1=w_2$
   （2）证明$b$：

7.1.4 学习的对偶算法

笔者疑问：对偶问题求解相比原始问题有何优势？

引子1：拉格朗日

1. 原始问题：各式子均可微
   $$\begin{gathered} \underset{x\in R^n}{\min }f(x) \\ s.t.c_i(x)\le 0 \\ {h}_j(x)=0 \end{gathered}$$
2. 引进拉格朗日函数:${\alpha }_i\ge 0$
   $$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{i=1}^l{\beta }_j{h}_j(x)$$
   引入 $x$的函数：注意max底下并没有x，说明其中的$f(x)$项并没有起到最大化效果。$p$表示原始问题。
   $${\theta }_P(x)=\underset{\alpha ,\beta ;\alpha \ge 0}{\max }L(x,\alpha ,\beta )$$
   换言之：
   假设$x$引发两个条件，即存在$i,j$使得$c_i(x)\le 0,h_j(x)=0$无法成立，因为${\alpha }_i,{\beta }_j->+\infty$则
   $$\begin{gathered} \underset{\alpha ,\beta ;\alpha \ge 0}{\max }\sum _{i=1}^k{\alpha }_i{c}_i(x)=+\infty \\ \underset{\alpha ,\beta ;\alpha \ge 0}{\max }\sum _{i=1}^l{\beta }_j{h}_j(x)=+\infty \end{gathered}$$
   因此有：
   $${\theta }_P(x)=\underset{\alpha ,\beta ;\alpha \ge 0}{\max }L(x,\alpha ,\beta )=\{\begin{array}{l}f(x),ConditionsSatisfied\\ +\infty ,NotSatisfied\end{array}$$
3. 考虑原始问题${\min }_{x\in R^n}f(x)$ 则有“拉格朗日极小极大问题”：
   $$\underset{x\in R^n}{\min }f(x)=\underset{x\in R^n}{\min }{\theta }_P(x)=\underset{x\in R^n}{\min }\underset{\alpha ,\beta ;\alpha \ge 0}{\max }L(x,\alpha ,\beta )$$
4. 原始问题的值：$p^{\ast }={\min }_{x\in R^n}{\theta }_P(x)$

引子2：拉格朗日对偶问题

1. “拉格朗日极大极小问题”（$min,max$的下标一样需要跟进）：
   $$\underset{\alpha ,\beta ;\alpha \ge 0}{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta ;\alpha \ge 0}{\max }\underset{x\in R^n}{\min }L(x,\alpha ,\beta )$$
   对偶问题的值：$d^{\ast }={\max }_{\alpha ,\beta ;\alpha \ge 0}{\theta }_D(\alpha ,\beta )$
2. 对偶问题和原始问题的关系：
   （1）
   $$\begin{gathered} {\theta }_D(\alpha ,\beta )=\underset{x\in R^n}{\min }L(x,\alpha ,\beta )\le L(x,\alpha ,\beta ) \\ \le \underset{\alpha ,\beta ;\alpha \ge 0}{\max }L(x,\alpha ,\beta )={\theta }_P(x) \end{gathered}$$
   即有，${\theta }_D(\alpha ,\beta )\le {\theta }_P(x)$
   所以两者的最优值有大小关系，$$d^{\ast }=\underset{\alpha ,\beta ;\alpha \ge 0}{\max }{\theta }_D(\alpha ,\beta )\le \underset{x\in R^n}{\min }{\theta }_P(x)=p^{\ast }$$

（2）$x^{\ast }$是原始问题的解，${\alpha }^{\ast },{\beta }^{\ast }$是对偶问题的解
<— 充分必要条件 —>
KKT条件（图片来自于《统计学习方法-李航》）
拉格朗日函数要对$x,\alpha ,\beta$求导得0，其他满足于前文所示条件。

如何进行学习的对偶算法

由7.1.3我们得到应该求得的最优化凸二次规划问题

$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w\ast x_i+b)-1\ge 0,i=1,2,...,N \end{gathered}$$

构造拉格朗日函数：在此拉格朗日中的$x$为问题中的$\omega ,b$

$$\begin{gathered} L(\omega ,b,\alpha ,\beta )=f(\omega ,b)+\sum _{i=1}^k{\alpha }_i{c}_i(\omega ,b)+\sum _{i=1}^l{\beta }_j{h}_j(\omega ,b) \\ =\frac{1}{2}||w|{|}^2+\sum _{i=1}^k{\alpha }_i(1-y_i(w\ast x_i+b)) \\ =\frac{1}{2}||w|{|}^2-\sum _{i=1}^k{\alpha }_i{y}_i(w\ast x_i+b)+\sum _{i=1}^k{\alpha }_i\ast 1 \end{gathered}$$

通过对偶问题来求解，极大极小问题

$$\underset{\alpha ;\alpha \ge 0}{\max }\underset{\omega b\in R^n}{\min }L(\omega ,b,\alpha )$$

（1）先求解 ${\min }_{\omega b\in R^n}L(\omega ,b,\alpha )$: 对于$\omega ,b$求导

$$\begin{gathered} {\nabla }_{\omega }L(\omega ,b,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0 \\ {\nabla }_{b}L(\omega ,b,\alpha )=-\sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$

所以，得到目标的表达式和另外的条件。如果看下表，则$\omega$不应该按照如下公式表示，$x_i$需要转置。（但暂时不看向量的积的维度问题）

$y_i$	($w$	$x_i$	+	$b$ )
1*1	1*d	d*1		1*1

$$\begin{gathered} w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$

将其代入$L(\omega ,b,\alpha )$之中，得到

$$\begin{gathered} L(\omega ,b,\alpha )=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j) \\ -\sum _{i=1}^N{\alpha }_i{y}_i((\sum _{j=1}^N{\alpha }_j{y}_j{x}_j)\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i \\ =\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j) \end{gathered}$$

得到下一步的输入物：

$$\underset{\omega ,b\in R^n}{\min }L(\omega ,b,\alpha )=\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)$$

（2）开始求极大极小中的极大问题，

$$\begin{gathered} \underset{\alpha ;\alpha \ge 0}{\max }\underset{\omega b\in R^n}{\min }L(\omega ,b,\alpha ) \\ =\underset{\alpha }{\max }\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j) \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0 \end{gathered}$$

转化为极小问题

$$\begin{gathered} \underset{\alpha ;\alpha \ge 0}{\min }L(\omega ,b,\alpha ) \\ =\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0 \end{gathered}$$

支持向量

将训练数据集中对应于${\alpha }_i>0$的样本点$(x_i,y_i)$的实例$x_i\in R^n$称为支持向量。由于存在KKT条件，${\alpha }_i(y_i(w\ast x_i+b)-1)=0$，需要解同时符合

$$y_i(w\ast x_i+b)=1$$

因此$x_i$是在间隔边界上。

7.2 线性SVM与软间隔最大化

7.2.1 线性SVM（不是线性可分）

由于现实中大多数样例都不是线性可分的，所以需要“松弛变量”来令SVM得以“纳错”以正确分类。

【重点】在于之前的不等式约束条件不能得到满足。线性不可分意味着，一些样本点无法满足几何间隔大于等于1的情况。

因此，纳入新的“松弛变量”改变原先的不等式约束条件，得到式子：
$$y_i\ast (\omega \ast x_i+b)\ge 1-{\xi }_i$$
相应的学习问题依旧为凸二次规划：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i \\ s.t.y_i(w\ast x_i+b)\ge 1-{\xi }_i,i=1,2,...,N \\ {\xi }_i\ge 0\text{\hspace{1em}(7.32)} \end{gathered}$$
之后得到SVM为$f(x)=sign({\omega }^{\ast }\cdot x_i+b^{\ast })$，其中${\omega }^{\ast }$有唯一解，$b^{\ast }$有区间解，两者为规划问题的解。

7.2.2 学习的对偶算法推导

1. 根据7.32公式写出拉格朗日方程
   $$\begin{gathered} L(w,b,\xi ,\alpha ,\mu )=f(w,C,{\xi }_i)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{i=1}^l{\beta }_j{h}_j(x) \\ =\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i(y_i(w\ast x_i+b)-1+{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i \\ where,\alpha \ge 0,\mu \ge 0 \end{gathered}$$
2. 由于求极大极小问题，所以先求极小问题。$$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$$
   求导
   $$\begin{gathered} {\nabla }_{\omega }L(\omega ,b,{\xi }_i,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0 \\ {\nabla }_{{\xi }_i}L(\omega ,b,{\xi }_i,\alpha )=C-{\alpha }_i-{\mu }_i=0 \\ {\nabla }_{b}L(\omega ,b,{\xi }_i,\alpha )=-\sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$
   得到若干条件：
   $$\begin{gathered} w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ C={\alpha }_i+{\mu }_i \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$
   重新代入$\min L(w,b,\xi ,\alpha ,\mu )$之中：
   $$\begin{gathered} L(w,b,\xi ,\alpha ,\mu ) \\ =\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i(y_i(w\ast x_i+b)-1+{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i \\ =\frac{1}{2}\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\sum _{j=1}^N{\alpha }_j{y}_j{x}_j+\sum _{i=1}^N({\alpha }_i+{\mu }_i){\xi }_i+\sum _{i=1}^N{\alpha }_i \\ -\sum _{i=1}^N{\alpha }_i{y}_i(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j)x_i-\sum _{i=1}^N{\mu }_i{\xi }_i-\sum _{i=1}^N{\alpha }_i{\xi }_i \\ =-\frac{1}{2}\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\sum _{j=1}^N{\alpha }_j{y}_j{x}_j+\sum _{i=1}^N{\alpha }_i \\ =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{y}_i{\alpha }_j{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i \end{gathered}$$
3. 对于$\min L(w,b,\xi ,\alpha ,\mu )$求在$\alpha$上的极大问题：
   $$\begin{gathered} \underset{\alpha }{\max }\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu ) \\ =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{y}_i{\alpha }_j{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i \\ s.t.C={\alpha }_i+{\mu }_i \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0 \\ {\mu }_i\ge 0 \end{gathered}$$
   消去${\mu }_i$限制条件可以写为：
   $$\begin{gathered} \sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C \end{gathered}$$
   【小结】相对于“线性可分SVM”，该节所求得的规划问题方程，只是多了一个对$\alpha$的限制（小于C）。
   【定理7.3】得到${\alpha }_i^{\ast },i=1,2,...,N(\alpha \le C)$之后，求出来的解是：可以看出$w$是唯一解，$b$有可能有多个解，实际计算时可以取在所有符合条件的样本点上的平均值。
   $$\begin{gathered} w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i \\ b=y_j-w^{\ast }{x}_j=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j) \end{gathered}$$

7.2.3 支持向量

线1：支持向量本来应该到超平面的距离1（因为经过了规范化）。
线2：${\xi }_i$，即所允许的误差，“软间隔”的含义；同时是它到间隔边界的函数距离。
线3：$1-{\xi }_i$，即最开始的$y_i\ast (\omega \ast x_i+b)\ge 1-{\xi }_i$条件。
因此，如《李航-统计学习方法》原文及图片所示，支持向量$x_i$到达间隔边界的几何距离（经过规范化）为$\frac{{\xi }_i}{||w||}$。

【图片来自《李航-统计学习方法》】

优缺点

【参考 https://blog.csdn.net/x1kz18nkbqg/article/details/78690795 】
SVM算法的主要优点有：

1. 解决高维特征的分类问题和回归问题很有效,在特征维度大于样本数时依然有很好的效果。
2. 仅仅使用一部分支持向量来做超平面的决策，无需依赖全部数据。
3. 有大量的核函数可以使用，从而可以很灵活的来解决各种非线性的分类回归问题。
4. 样本量不是海量数据的时候，分类准确率高，泛化能力强。

SVM算法的主要缺点有：

1. 如果特征维度远远大于样本数，则SVM表现一般。
2. SVM在样本量非常大，核函数映射维度非常高时，计算量过大，不太适合使用。
3. 非线性问题的核函数的选择没有通用标准，难以选择一个合适的核函数。
4. SVM对缺失数据敏感。

用于回归问题

【参考】
https://blog.csdn.net/x1kz18nkbqg/article/details/78690795
https://blog.csdn.net/luoshixian099/article/details/51121767

参考书目

1. 李航-统计学习方法
2. 西瓜书
3. 清华大学深圳研究生院袁春ppt