详解支持向量机(SVM)

1.支持向量

1.1 线性可分

首先我们来了解下什么是线性可分。

在二维空间桑，两类点被一条直线完全分开叫线性可分。

1.2 最大间隔超平面

从二维扩展到多维空间中，将$D_0$和$D_1$完全正确地划分开得$wx+b=0$就成为了一个超平面。
为了使这个超平面更具有鲁棒性，我们会去找最佳超平面，以最大间隔把两类样本分开得超平面，也称之为最大间隔超平面。

• 两类样本分别分割在该超平面得两侧
• 两侧距离超平面最近的样本点到超平面的距离被最大化了

1.3 支持向量

样本中距离超平面最近的一些点，这些点就叫做支持向量。

1.4 SVM最优化问题

SVM想要找到各类样本点到超平面的距离最远，就是找到最大间隔超平面。任意超平面可以用下面这个线性方程来描述：
$$w^{T}x+b=0$$二维空间点$(x,y)$到直线$Ax+By+C=0$的距离公式是：$$\frac{|Ax+By+C|}{\sqrt{A^2+B^2}}$$扩展到n维空间后，点$x=(x_1,x_2,x_3...x_n)$到直线$w^{T}x+b=0$的距离为：$$\frac{\left|w^{T}x+b\right|}{\Vert w\Vert }$$其中$\Vert w\Vert =\sqrt{w_1^2+\dots w_n^2}$。
如图所示，根据支持向量的定义我们知道，支持向量到超平面的距离为d，其他点到超平面的距离大于d。

于是我们有这样的一个公式：$$\{\begin{array}{l}\frac{w^{T}x+b}{\Vert w\Vert }\ge dy=1\\ \frac{w^{T}x+b}{\Vert w\Vert }\le -dy=-1\end{array}$$稍作转化可以得到：$$\{\begin{array}{l}\frac{w^{T}x+b}{\Vert w\Vert d}\ge 1y=1\\ \frac{w^{T}x+b}{\Vert w\Vert d}\le -1y=-1\end{array}$$$\Vert w\Vert d$是正数，我们暂且令他为1（之所以令他等于1，是为了方便推到和优化，且这样做对目标函数的优化没有影响），故：$$\{\begin{array}{l}{w}^{T}x+b\ge 1y=1\\ w^{T}x+b\le -1y=-1\end{array}$$将两个方程合并，我们可以简写为：$$y\left(w^{T}x+b\right)\ge 1$$至此我们就可以得到最大间隔超平面的上下两个超平面：

每个支持向量到超平面的距离可以写为：$$d=\frac{\left|w^{T}x+b\right|}{\Vert w\Vert }$$由上述$y\left(w^{T}x+b\right)>1>0$可以得到$y\left(w^{T}x+b\right)=\left|w^{T}x+b\right|$，所以我们得到：$$d=\frac{y\left(w^{T}x+b\right)}{\Vert w\Vert }$$最大化这个距离：$$\max 2\ast \frac{y\left(w^{T}x+b\right)}{\Vert w\Vert }$$这里乘上2倍也是为了后面推到，对目标函数没有影响。刚刚我们得到支持向量$y\left(w^{T}x+b\right)=1$，所以我们得到：$$\max \frac{2}{\Vert w\Vert }$$再做一个转换：$$\min \frac{1}{2}\Vert w\Vert$$为了方便计算(去除 $\Vert w||$ 的根号)，我们有：$$\min \frac{1}{2}\Vert w{\Vert }^2$$所以得到的最优化问题是：$\min \frac{1}{2}\Vert w{\Vert }^2$ s.t. $y_i\left(w^T{x}_i+b\right)\ge 1$

2. 对偶问题

2.1 拉格朗日乘数法

2.1.1 等式约束优化问题

数学上的拉格朗日陈述发是等式约束优化问题：$$\min f\left(x_1,x_2,\dots ,x_n\right)$$$$\begin{array}{llc}\text{ s. }t.& h_k\left(x_1,x_2,\dots ,x_n\right)=0& k=1,2,\dots ,l\end{array}$$我们令$L(x,\lambda )=f(x)+{\sum }_{k=1}^l{\lambda }_k{h}_k(x)$，函数$L(x,y)$称为Lagrange函数，参数$\lambda$称为Lagrange乘子没有非负要求。
利用必要条件找到可能的极值点：$$\{\begin{array}{ll}\frac{\partial L}{\partial x_i}=0& i=1,2,\dots ,n\\ \frac{\partial L}{\partial {\lambda }_k}=0& k=1,2,\dots ,l\end{array}$$具体是否为极值点需根据问题本身的具体情况检验。这个方程组称为等式约束的极值必要条件。
等式约束下的 Lagrange 乘数法引入了 $l$个 Lagrange 乘子，我们将 $x_i$ 与 ${\lambda }_k$ 一视同仁，把 ${\lambda }_k$ 也看作优化变量，共有 $(n+l)$ 个优化变量。

2.1.2 不等式约束优化问题

而我们现在面对的是不等式优化问题，针对这种情况其主要思想是将不等式约束条件转变为等式约束条件，引入松弛变量，将松弛变量也是为优化变量。

以下面例子为例：$$\begin{array}{rl}& \min f(w)=\min \frac{1}{2}\Vert w{\Vert }^2\\ s.t.& g_i(w)=1-y_i\left(w^T{x}_i+b\right)\le 0\end{array}$$引入松弛变量$a_i^2$得到$h_i\left(w,a_i\right)=g_i(w)+a_i^2=0$。这里加平方主要为了不再引入新的约束条件，如果只引入$a_i$那我们必须保证$a_i\ge 0$才能保证$h_i\left(w,a_i\right)=0$，这不符合我们的意愿。
由此我们将不等式约束转化为等式约束，并得到Langrange函数：$$\begin{array}{rl}L(w,\lambda ,a)& =f(w)+\sum _{i=1}^n{\lambda }_i{h}_i(w)\\ & =f(w)+\sum _{i=1}^n{\lambda }_i\left[g_i(w)+a_i^2\right]{\lambda }_i\ge 0\end{array}$$由等式约束优化问题极值的必要条件对其求解，联立方程：$$\{\begin{array}{rl}\frac{\partial L}{\partial w_i}& =\frac{\partial f}{\partial w_i}+\sum _{i=1}^n{\lambda }_i\frac{\partial g_i}{\partial w_i}=0\\ \frac{\partial L}{\partial a_i}& =2{\lambda }_i{a}_i=0\\ \frac{\partial L}{\partial {\lambda }_i}& =g_i(w)+a_i^2=0\\ {\lambda }_i& \ge 0\end{array}$$(为什么取 ${\lambda }_i\ge 0，$ 可以通过几何性质来解释，有兴趣的同学可以查下 KKT 的证明）。
正对${\lambda }_i{a}_i=0$我们有两种情况：

情形1：${\lambda }_i=0,a_i\ne 0$
由于${\lambda }_i=0$，因此约束条件$g_i(w)$不起作用，且$g_i(w)<0$
情形2：${\lambda }_i=0,a_i\ne 0$
此时$g_i(w)=0$ 且 ${\lambda }_i>0$，可以理解为约束条件$g_i(w)$ 起作用了，且 $g_i(w)=0$
综合可得：${\lambda }_i{g}_i(w)=0$，且约束条件起作用时${\lambda }_i>0,g_i(w)=0$；约束不起作用时${\lambda }_i=0,g_i(w)<0$
由此方程组转换为：
$$\{\begin{array}{rl}\frac{\partial L}{\partial w_i}& =\frac{\partial f}{\partial w_i}+\sum _{j=1}^n{\lambda }_j\frac{\partial g_j}{\partial w_i}=0\\ {\lambda }_i{g}_i(w)& =0\\ g_i(w)& \le 0\\ {\lambda }_i& \ge 0\end{array}$$以上便是不等式约束优化优化问题的 KKT(Karush-Kuhn-Tucker) 条件， ${\lambda }_i$称为 KKT 乘子。
由上可知，支持向量$g_i(w)=0$，所以${\lambda }_i>0$即可。而其他向量$g_i(w)<0,{\lambda }_i=0$。
我们原本的问题是要求：$\min \frac{1}{2}\Vert w{\Vert }^2$，即求$\min L(w,\lambda ,a)$$$\begin{array}{rl}L(w,\lambda ,a)& =f(w)+\sum _{i=1}^n{\lambda }_i\left[g_i(w)+a_i^2\right]\\ & =f(w)+\sum _{i=1}^n{\lambda }_i{g}_i(w)+\sum _{i=1}^n{\lambda }_i{a}_i^2\end{array}$$
由于${\sum }_{i=1}^n{\lambda }_i{a}_i^2\ge 0$，故我们将问题转化为：$\min L(w,\lambda )$：$$L(w,\lambda )=f(w)+\sum _{i=1}^n{\lambda }_i{g}_i(w)$$假设找到了最佳参数是目标函数取值得了最小值p.即$\frac{1}{2}\Vert w{\Vert }^2=p$。而根据${\lambda }_i\ge 0$
，可知${\sum }_{i=1}^n{\lambda }_i{g}_i(w)\le 0$，因此$L(w,\lambda )\le p$，为了找到最优的参数$\lambda$，使得$L(w,\lambda )$接近p,故问题转化为${\max }_{\lambda }L(w,\lambda )$。故我们的最优化问题转化为：$$\begin{array}{c}\underset{w}{\min }\underset{\lambda }{\max }L(w,\lambda )\\ s.t.{\lambda }_i\ge 0\end{array}$$出了上面的理解方式，我们还可以有另一种理解方式：由于${\lambda }_i\ge 0$，$$\underset{\lambda }{\max }L(w,\lambda )=\{\begin{array}{rl}\infty & g_i(w)\ge 0\\ \frac{1}{2}\Vert w{\Vert }^2& g_i(w)\le 0\end{array}$$所以$\min \left(\infty ,\frac{1}{2}\Vert w{\Vert }^2\right)=\frac{1}{2}\Vert w{\Vert }^2$，所以转化后的式子和原来的式子也是一样的。

2.2 强对偶性

对偶问题其实就是将：$$\begin{array}{c}\underset{w}{\min }\underset{\lambda }{\max }L(w,\lambda )\\ s.t.{\lambda }_i\ge 0\end{array}$$变成了：$$\begin{array}{c}\underset{\lambda }{\max }\underset{w}{\min }L(w,\lambda )\\ s.t.{\lambda }_i\ge 0\end{array}$$假设有个函数$f$我们有：$$\min \max f\ge \max \min f$$也就是说，最大的里面挑出的最小的也要比最小的里面跳出的最大的要大。这关系实际上就是若对偶关系，而强队偶关系是当等号成立时，即：$$\min \max f=\max \min f$$如果$f$时凸优化问题，强队偶性成立。而我们之前求得KKT条件是强队偶性的充要条件。

3. SVM优化

已知SVM优化的问题是：$$\begin{array}{c}\underset{w}{\min }\frac{1}{2}\Vert w{\Vert }^2\\ \text{ s.t. }{g}_i(w,b)=1-y_i\left(w^T{x}_i+b\right)\le 0,i=1,2,\dots ,n\end{array}$$那么求解线性科分的SVM的步骤为：
第一：
构造拉格朗日函数：$$\begin{array}{rl}\underset{w,b}{\min }\underset{\lambda }{\max }L(w,b,\lambda )=& \frac{1}{2}\Vert w{\Vert }^2+\sum _{i=1}^n{\lambda }_i\left[1-y_i\left(w^T{x}_i+b\right)\right]\\ & s.t.{\lambda }_i\ge 0\end{array}$$第二：利用强对偶性转化：$$\underset{\lambda }{\max }\underset{w,b}{\min }L(w,b,\lambda )$$现在对参数w和b求偏导数：$$\begin{array}{rl}& \frac{\partial L}{\partial w}=w-\sum _{i=1}^n{\lambda }_i{x}_i{y}_i=0\\ & \frac{\partial L}{\partial b}=\sum _{i=1}^n{\lambda }_i{y}_i=0\end{array}$$得到：$$\begin{array}{rl}& \sum _{i=1}^n{\lambda }_i{x}_i{y}_i=w\\ & \sum _{i=1}^n{\lambda }_i{y}_i=0\end{array}$$我们将这个结果带到函数中可得：$$\begin{array}{rl}L(w,b,\lambda )& =\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^n{\lambda }_i-\sum _{i=1}^n{\lambda }_i{y}_i\left(\sum _{j=1}^n{\lambda }_j{y}_j\left(x_i\cdot x_j\right)+b\right)\\ & =\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^n{\lambda }_i-\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^n{\lambda }_i{y}_{i}b\\ & =\sum _{j=1}^n{\lambda }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\left(x_i\cdot x_j\right)\end{array}$$也就是说：$$\underset{w,b}{\min }L(w,b,\lambda )=\sum _{j=1}^n{\lambda }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\left(x_i\cdot x_j\right)$$第三：由步骤2得：$$\begin{array}{c}\underset{\lambda }{\max }\left[\sum _{j=1}^n{\lambda }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\left(x_i\cdot x_j\right)\right]\\ \text{ s.t. }\sum _{i=1}^n{\lambda }_i{y}_i=0{\lambda }_i\ge 0\end{array}$$我们可以看出来这是一个二次规划问题，问题规模正比于训练样本数，我们常用 SMO(Sequential Minimal Optimization) 算法求解。
SMO(Sequential Minimal Optimization)，序列最小优化算法，其核心思想非常简单：每次只优化一个参数，其他参数先固定住，仅求当前这个优化参数的极值。我们来看一下 SMO 算法在 SVM 中的应用。

我们刚说了 SMO 算法每次只优化一个参数，但我们的优化目标有约束条件：${\sum }_{i=1}^n，{\lambda }_i{y}_i=0$没法一次只变动一个参数。所以我们选择了一次选择两个参数。具体步骤为：
1。 选择两个需要更新得参数${\lambda }_i$和${\lambda }_j$，固定其他参数，于是我们有一下约束：$${\lambda }_i{y}_i+{\lambda }_j{y}_j=c{\lambda }_i\ge 0,{\lambda }_j\ge 0$$其中$c=-{\sum }_{k\ne i,j}{\lambda }_k{y}_k$，由此可得出${\lambda }_j=\frac{c-{\lambda }_i{y}_i}{y_j}$，也就是我们可以用${\lambda }_i$的表达式代替${\lambda }_j$。这样就相当于把目标函数问题转化为了仅有一个约束条件的最优问题，仅有的约束是${\lambda }_i\ge 0$。
2.对于仅有一个约束条件的最优问题，我们完全可以在${\lambda }_i$上对优化目标求偏导，令偏导数为零，从而求出变量值${\lambda }_{i_{\text{new }}}$，然后根据${\lambda }_{i_{\text{new }}}$求出${\lambda }_{j_{\text{new }}}$。
3. 多次迭代直至收敛。
通过SMO求得最优解${\lambda }^{\ast }$。
第四：
我们求偏导数时得到：$$w=\sum _{i=1}^m{\lambda }_i{y}_i{x}_i$$由上式可求得w。
我们知道所有${\lambda }_i>0$对应的点都是支持向量，我们可以随便找个支持向量，然后带入:$y_s\left(w{x}_s+b\right)=1$，求出b即可，两边同乘以$y_s$，得到$y_s^2\left(w{x}_s+b\right)=y_s$。因为$y_s^2=1$, 所以: $b=y_s-w{x}_s$。为了更具鲁棒性，我们可以球的支持向量的均值：$$b=\frac{1}{|S|}\sum _{s\in S}\left(y_s-w{x}_s\right)$$
第五：w和b都求出来了，我们就能构造出最大分割超平面：$w^{T}x+b=0$
分类决策函数：$f(x)=\mathrm{sign}\left(w^{T}x+b\right)$
其中 $\mathrm{sign}(\cdot )$ 为阶跃函数:
$$\mathrm{sign}(x)=\{\begin{array}{rl}-1& x<0\\ 0& x=0\\ 1& x>0\end{array}$$将新样本点导入到决策函数即可得到样本分类。

4. 软间隔

4.1 解决问题

在实际应用中，完全线性可分的样本是很少的，如果遇到了不能够完全线性可分的样本，我们应该怎么办？比如下面这个：

于是我们就有了软间隔，相比于硬间隔的苛刻条件，我们允许个别样本点出现在间隔带里面，比如：

我们循序部分样本点不满足约束条件：$$1-y_i\left(w^T{x}_i+b\right)\le 0$$为了度量这个间隔软到何种程度，我们为每一个样本引入一个松弛变量${\xi }_i$，令${\xi }_i\ge 0$，且$1-y_i\left(w^T{x}_i+b\right)-{\xi }_i\le 0$。对应如下图所示：

4.2 优化目标及求解

增加软间隔后我们的优化目标变成了：$$\begin{array}{c}\underset{w}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }_i\\ \text{ s.t. }{g}_i(w,b)=1-y_i\left(w^T{x}_i+b\right)-{\xi }_i\le 0,{\xi }_i\ge 0,i=1,2,\dots ,n\end{array}$$其中 C 是一个大于 0 的常数，可以理解为错误样本的惩罚程度，若 C 为无穷大，${\xi }_i$ 必然无穷小，如此一来线性 SVM 就又变成了线性可分 SVM；当 C 为有限值的时候，才会允许部分样本不遵循约束条件。
接下来我们将针对新的优化目标求解最优化问题：
步骤1：
构造拉格朗日函数：$$\begin{array}{rl}\underset{w,b,\xi }{\min }\underset{\lambda ,\mu }{\max }L(w,b,\xi ,\lambda ,\mu )=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^n{\lambda }_i\left[1-{\xi }_i-y_i\left(w^T{x}_i+b\right)\right]-\sum _{i=1}^n{\mu }_i{\xi }_i& \\ & \text{ s.t. }{\lambda }_i\ge 0{\mu }_i\ge 0\end{array}$$其中${\lambda }_i$和${\mu }_i$是拉格朗日乘子，w，b和${\xi }_i$是主问题参数。
根据强对偶性，将对偶问题转化为：$$\underset{\lambda ,\mu }{\max }\underset{w,b,\xi }{\min }L(w,b,\xi ,\lambda ,\mu )$$
步骤2：
分别对主问题参数w、b和${\xi }_i$求偏导数，并令偏导数为0，得到如下关系：$$\begin{array}{c}w=\sum _{i=1}^m{\lambda }_i{y}_i{x}_i\\ 0=\sum _{i=1}^m{\lambda }_i{y}_i\\ C={\lambda }_i+{\mu }_i\end{array}$$将这些关系带入拉格朗日函数中，得到：$$\underset{w,b,\xi }{\min }L(w,b,\xi ,\lambda ,\mu )=\sum _{j=1}^n{\lambda }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\left(x_i\cdot x_j\right)$$
最小化结果只是$\lambda$而没有$\mu$，所以现在只需要最大化$\lambda$就好：
$$\underset{\lambda }{\max }\left[\sum _{j=1}^n{\lambda }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\left(x_i\cdot x_j\right)\right]$$$$\text{ s.t. }\sum _{i=1}^n{\lambda }_i{y}_i=0,{\lambda }_i\ge 0,C-{\lambda }_i-{\mu }_i=0$$我们可以看到这个和硬间隔的一样，只是多了个约束条件。

然后我们利用 SMO 算法求解得到拉格朗日乘子 ${\lambda }^{\ast }$。
步骤3：$$\begin{array}{c}w=\sum _{i=1}^m{\lambda }_i{y}_i{x}_i\\ b=\frac{1}{|S|}\sum _{s\in S}\left(y_s-w{x}_s\right)\end{array}$$然后我们通过上面两个式子求出 w 和 b，最终求得超平面$w^{T}x+b=0$ ，
这边要注意一个问题，在间隔内的那部分样本点是不是支持向量？
我们可以由求参数 w 的那个式子可看出，只要 ${\lambda }_i>0$的点都能够影响我们的超平面，因此都是支持向量。

5. 核函数

5.1 线性不可分

我们刚刚讨论的硬间隔和软间隔都是在说样本的完全线性可分或者大部分样本点的线性可分。
但我们可能会碰到的一种情况是样本点不是线性可分的，比如：

这种情况的解决方法就是：将二维线性不可分样本映射到高维空间中，让样本点在高维空间线性可分，比如：

对于在有限维度向量空间中线性不可分的样本，我们将其映射到更高维度的向量空间里，再通过间隔最大化的方式，学习得到支持向量机，就是非线性 SVM。
我们用 x 表示原来的样本点，用$\varphi (x)$表示 x 映射到特征新的特征空间后到新向量。那么分割超平面可以表示为：$f(x)=w\varphi (x)+b$ 。
对于非线性 SVM 的对偶问题就变成了：$$\begin{array}{rl}& \underset{\lambda }{\min }\left[\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\left(\varphi \left(x_i\right)\cdot \varphi \left(x_j\right)\right)-\sum _{j=1}^n{\lambda }_i\right]\\ & \text{ s.t. }\sum _{i=1}^n{\lambda }_i{y}_i=0,{\lambda }_i\ge 0,C-{\lambda }_i-{\mu }_i=0\end{array}$$可以看到与线性 SVM 唯一的不同就是：之前的$\left(x_i\cdot x_j\right)$ 变成了$\left(\varphi \left(x_i\right)\cdot \varphi \left(x_j\right)\right)$ 。

5.2 核函数的作用

我们不禁有个疑问：只是做个内积运算，为什么要有核函数的呢？
这是因为低维空间映射到高维空间后维度可能会很大，如果将全部样本的点乘全部计算好，这样的计算量太大了。
但如果我们有这样的一核函数 $k(x,y)=(\varphi (x),\varphi (y))$ ，$x_i$与 $x_j$ 在特征空间的内积等于它们在原始样本空间中通过函数 $k(x,y)$ 计算的结果，我们就不需要计算高维甚至无穷维空间的内积了。
举个例子：假设我们有一个多项式核函数：$$k(x,y)=(x\cdot y+1{)}^2$$带进样本点的后：$$k(x,y)={\left(\sum _{i=1}^n\left(x_i\cdot y_i\right)+1\right)}^2$$而它的展开项是：$$\sum _{i=1}^n{x}_i^2{y}_i^2+\sum _{i=2}^n\sum _{j=1}^{i-1}\left(\sqrt{2}{x}_i{x}_j\right)\left(\sqrt{2}{y}_i{y}_j\right)+\sum _{i=1}n\left(\sqrt{2}{x}_i\right)\left(\sqrt{2}{y}_i\right)+1$$如果没有核函数，我们则需要把向量映射成：$$x^{\prime }=\left(x_1^2,\dots ,x_n^2,\dots \sqrt{2}{x}_1,\dots ,\sqrt{2}{x}_n,1\right)$$
然后在进行内积计算，才能与多项式核函数达到相同的效果。
可见核函数的引入一方面减少了我们计算量，另一方面也减少了我们存储数据的内存使用量。

5.3 常见核函数

我们常用的核函数有
线性核函数$$k\left(x_i,x_j\right)=x_i^T{x}_j$$多项式核函数$$k\left(x_i,x_j\right)={\left(x_i^T{x}_j\right)}^d$$高斯核函数$$k\left(x_i,x_j\right)=\exp \left(-\frac{\Vert x_i-x_j\Vert }{2{\delta }^2}\right)$$这三个常用的核函数中只有高斯核函数是需要调参的。

6. 优缺点

6.1 优点

• 有严格的数学理论支持，可解释性强，不依靠统计方法，从而简化了通常的分类和回归问题；
• 能找出对任务至关重要的关键样本（即：支持向量）；
• 采用核技巧之后，可以处理非线性分类/回归任务；
• 最终决策函数只由少数的支持向量所确定，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了“维数灾难”。

6.2 缺点

• 训练时间长。当采用 SMO 算法时，由于每次都需要挑选一对参数，因此时间复杂度为 $O\left(N^2\right)$，其中 N 为训练样本的数量；
• 当采用核技巧时，如果需要存储核矩阵，则空间复杂度为 $O\left(N^2\right)$ ；
• 模型预测时，预测时间与支持向量的个数成正比。当支持向量的数量较大时，预测计算复杂度较高。

因此支持向量机目前只适合小批量样本的任务，无法适应百万甚至上亿样本的任务。

更多请见：https://zhuanlan.zhihu.com/p/77750026