支持向量机（SVM）原理小结（3）支持向量回归SVR

SVM系列文章：

支持向量机（SVM）原理小结（1）线性支持向量机
支持向量机（SVM）原理小结（2）非线性支持向量机
支持向量机（SVM）原理小结（3）支持向量回归SVR

本博客中使用到的完整代码请移步至: 我的github：https://github.com/qingyujean/Magic-NLPer，求赞求星求鼓励~~~

---

1. 支持向量回归（SVR）

传统回归问题例如线性回归中，一般使用模型$f(x)=w\cdot x+b$的输出与真实值$y$的差别来计算损失，如均方损失MSE，当$f(x)$与$y$完全一样时损失才为0。

而SVR假设能容忍$f(x)$和$y$之间最多由$ϵ$的偏差，即$|f(x)-y|>ϵ$时才计算损失。这相当于以$f(x)=w\cdot x+b$为中心，构建了一个宽度为$2ϵ$的间隔带（见下图），如果训练样本落在间隔带内部，则认为预测正确，无损失。

则SVR问题可形式化为：

$$\begin{array}{cl}\underset{w,b}{\max }& \frac{1}{2}\Vert w{\Vert }^2\\ \text{s.t.}& |\left(w\cdot x_i+b\right)-y_i|\le ϵ,i=1,2,\cdots ,N\end{array}$$

对每个样本点$(x_i,y_i)$引入一个松弛变量${\xi }_i\ge 0$，使得约束变为：$|w\cdot x+b-y_i|\le ϵ+{\xi }_i$，同时对每个松弛变量支付一个代价${\xi }_i$（这里的代价${\xi }_i$，其实就是不满足约束的程度：满足约束的即在间隔带内部的，代价为0；勉强满足约束的即点落在间隔带外边附近的，代价比较小，完全背离约束的即落在间隔带外边而且隔的很远，代价最大）。此时就得到如下的约束最优化的原始问题：

$$\begin{array}{ll}\underset{w,b,\xi }{\min }& \frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i\\ \text{ s.t. }& |\left(w\cdot x_i+b\right)-y_i|\le ϵ+{\xi }_i\\ & {\xi }_i⩾0,i=1,2,\cdots ,N\end{array}$$

若允许间隔带两侧的松弛程度不同，即进入2个松弛变量${\xi }_i\ge 0,{\hat{\xi }}_i\ge 0$，那么就得到如下的约束最优化的原始问题：

$$\begin{array}{ll}\underset{w,b,\xi ,{\hat{\xi }}_i}{\min }& \frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N({\xi }_i+{\hat{\xi }}_i)\\ \text{ s.t. }& \left(w\cdot x_i+b\right)-y_i⩽ϵ+{\xi }_i\\ & y_i-\left(w\cdot x_i+b\right)⩽ϵ+{\hat{\xi }}_i\\ & {\xi }_i⩾0,{\hat{\xi }}_i⩾0,i=1,2,\cdots ,N\end{array}$$

1.1 学习算法—对偶形式

首先写出有约束最优化的原始问题的拉格朗日无约束优化函数：

$$L(w,b,\xi ,\hat{\xi },\alpha ,\hat{\alpha },\mu ,\hat{\mu })\equiv \frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N({\xi }_i+{\hat{\xi }}_i)+\sum _{i=1}^N{\alpha }_i\left(w\cdot x_i+b-y_i-ϵ-{\xi }_i\right)+\sum _{i=1}^N{\hat{\alpha }}_i\left(y_i-(w\cdot x_i+b)-ϵ-{\hat{\xi }}_i\right)-\sum _{i=1}^N{\mu }_i{\xi }_i-\sum _{i=1}^N{\hat{\mu }}_i{\hat{\xi }}_i$$

其中${\alpha }_i\ge 0,{\hat{\alpha }}_i\ge 0,{\mu }_i\ge 0,{\hat{\mu }}_i\ge 0,i=1,...,N$，称为拉格朗日乘子。

约束最优化的原始问题可以表示为 拉格朗日极小极大问题：$\underset{w,b,\xi ,\hat{\xi }}{\min }\underset{\alpha ,\hat{\alpha },\mu ,\hat{\mu }}{\max }L(w,b,\xi ,\hat{\xi },\alpha ,\hat{\alpha },\mu ,\hat{\mu })$。

由于$L(w,b,\xi ,\hat{\xi },\alpha ,\hat{\alpha },\mu ,\hat{\mu })$和约束条件函数为连续可微的凸函数，且满足KKT条件，则原始问题的解与对偶问题的解是等价的，那么可以通过求解对偶问题来求解原始问题。

原始问题的对偶问题是 拉格朗日极大极小问题：$\underset{\alpha ,\hat{\alpha },\mu ,\hat{\mu }}{\max }\underset{w,b,\xi ,\hat{\xi }}{\min }L(w,b,\xi ,\hat{\xi },\alpha ,\hat{\alpha },\mu ,\hat{\mu })$

（1）求$\underset{w,b,\xi ,\hat{\xi }}{\min }L(w,b,\xi ,\hat{\xi },\alpha ,\hat{\alpha },\mu ,\hat{\mu })$

将$L(w,b,\xi ,\hat{\xi },\alpha ,\hat{\alpha },\mu ,\hat{\mu })$分别对$w$,$b$和$\xi ,\hat{\xi }$求偏导数，并令其等于0。

$$\begin{gathered} {\nabla }_{w}L(w,b,\xi ,\hat{\xi },\alpha ,\hat{\alpha },\mu ,\hat{\mu })=w+\sum _{i=1}^N({\alpha }_i-{\hat{\alpha }}_i)x_i=0 \\ {\nabla }_{b}L(w,b,\xi ,\hat{\xi },\alpha ,\hat{\alpha },\mu ,\hat{\mu })=\sum _{i=1}^N({\alpha }_i-{\hat{\alpha }}_i)=0 \\ {\nabla }_{{\xi }_i}L(w,b,\xi ,\hat{\xi },\alpha ,\hat{\alpha },\mu ,\hat{\mu })=C-{\alpha }_i-{\mu }_i=0 \\ {\nabla }_{{\hat{\xi }}_i}L(w,b,\xi ,\hat{\xi },\alpha ,\hat{\alpha },\mu ,\hat{\mu })=C-{\hat{\alpha }}_i-{\hat{\mu }}_i=0 \end{gathered}$$

得

$$\begin{gathered} w=\sum _{i=1}^N({\hat{\alpha }}_i-{\alpha }_i)x_i \\ \sum _{i=1}^N({\hat{\alpha }}_i-{\alpha }_i)=0 \\ C-{\alpha }_i-{\mu }_i=0 \\ C-{\hat{\alpha }}_i-{\hat{\mu }}_i=0 \end{gathered}$$

代入得

$$\begin{array}{rl}L(w,b,\xi ,\hat{\xi },\alpha ,\hat{\alpha },\mu ,\hat{\mu })=& -\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N({\hat{\alpha }}_i-{\alpha }_i)({\hat{\alpha }}_j-{\alpha }_j)\left(x_i\cdot x_j\right)\\ & +\sum _{i=1}^N{y}_i({\hat{\alpha }}_i-{\alpha }_i)-ϵ({\hat{\alpha }}_i+{\alpha }_i)\end{array}$$

即

$$\begin{array}{rl}\underset{w,b,\xi ,\hat{\xi }}{\min }L(w,b,\xi ,\hat{\xi },\alpha ,\hat{\alpha },\mu ,\hat{\mu })=& -\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N({\hat{\alpha }}_i-{\alpha }_i)({\hat{\alpha }}_j-{\alpha }_j)\left(x_i\cdot x_j\right)\\ & +\sum _{i=1}^N{y}_i({\hat{\alpha }}_i-{\alpha }_i)-ϵ({\hat{\alpha }}_i+{\alpha }_i)\end{array}$$

（2）求$\underset{w,b,\xi ,\hat{\xi }}{\min }L(w,b,\xi ,\hat{\xi },\alpha ,\hat{\alpha },\mu ,\hat{\mu })$对$\alpha ,\hat{\alpha }$的极大，即对偶问题

$$\begin{array}{ll}\underset{\alpha ,\hat{\alpha }}{\max }& -\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N({\hat{\alpha }}_i-{\alpha }_i)({\hat{\alpha }}_j-{\alpha }_j)\left(x_i\cdot x_j\right)\\ & +\sum _{i=1}^N{y}_i({\hat{\alpha }}_i-{\alpha }_i)-ϵ({\hat{\alpha }}_i+{\alpha }_i)\\ \text{ s.t. }& \sum _{i=1}^N({\hat{\alpha }}_i-{\alpha }_i)=0\\ & C-{\alpha }_i-{\mu }_i=0\\ & C-{\hat{\alpha }}_i-{\hat{\mu }}_i=0\\ & {\alpha }_i⩾0,{\hat{\alpha }}_i⩾0\\ & {\mu }_i⩾0,{\hat{\mu }}_i⩾0,i=1,2,\cdots ,N\end{array}$$

等价于（利用等式$C-{\alpha }_i-{\mu }_i=0$和$C-{\hat{\alpha }}_i-{\hat{\mu }}_i=0$消去${\mu }_i$和${\hat{\mu }}_i$，并将求max转化为求min）：

$$\begin{array}{ll}\underset{\alpha ,{\hat{\alpha }}_i}{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N({\hat{\alpha }}_i-{\alpha }_i)({\hat{\alpha }}_j-{\alpha }_j)\left(x_i\cdot x_j\right)\\ & -\sum _{i=1}^N{y}_i({\hat{\alpha }}_i-{\alpha }_i)+ϵ({\hat{\alpha }}_i+{\alpha }_i)\\ \text{ s.t. }& \sum _{i=1}^N({\hat{\alpha }}_i-{\alpha }_i)=0\\ & 0⩽{\alpha }_i⩽C\\ & 0⩽{\hat{\alpha }}_i⩽C,i=1,2,\cdots ,N\end{array}$$

上式即为 对偶最优化问题。

对偶最优化问题对$\alpha ,\hat{\alpha }$的解设为${\alpha }^{\ast },{\hat{\alpha }}^{\ast }$，那么原始问题最优化问题的解$w^{\ast },b^{\ast }$也可求出。

即求得

$$w^{\ast }=\sum _{i=1}^N({\hat{\alpha }}_i^{\ast }-{\alpha }_i^{\ast })x_i$$

任选一个${\alpha }^{\ast }$的分量${\alpha }_j^{\ast }$满足$0<{\alpha }_j^{\ast }<C$用来求$b^{\ast }$（因为${\mu }_i=C-{\alpha }_i>0$，而${\mu }_i{\xi }_i=0$，所以${\xi }_i=0$）：

$$b^{\ast }=y_j+ϵ-\sum _{i=1}^N({\hat{\alpha }}_i^{\ast }-{\alpha }_i^{\ast })(x_i\cdot x_j)$$

则最后的SVR模型可表示为：

$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast }=0$$

分类决策函数可以写成

$$f(x)=\sum _{i=1}^N({\hat{\alpha }}_i^{\ast }-{\alpha }_i^{\ast })(x_i\cdot x)+b^{\ast }$$

对偶算法中，$f(x)$只依赖于输入$x$ 和 训练样本$x_i$的内积，而上式称为 线性支持向量回归的对偶形式。

1.2 核函数

考虑非线性映射$\varphi (x)$和核函数$K(x,z)$，则容易得到非线性支持向量回归的对偶形式：

$$f(x)=\sum _{i=1}^N({\hat{\alpha }}_i^{\ast }-{\alpha }_i^{\ast })K(x,x_i)+b^{\ast }$$

其中$K(x,x_i)=\varphi (x)\cdot \varphi (x_i)$为核函数。

1.3 支持向量

注意对偶问题中$w^{\ast }$的求解式：$w^{\ast }=\sum _{i=1}^N({\hat{\alpha }}_i^{\ast }-{\alpha }_i^{\ast })x_i$，只有${\hat{\alpha }}_i^{\ast }-{\alpha }_i^{\ast }\ne 0$才对求解$w^{\ast }$有影响（保证了解的 稀疏性，最终模型仅与支持向量有关），所以满足${\hat{\alpha }}_i^{\ast }-{\alpha }_i^{\ast }\ne 0$的样本$x_i$ 就称为 支持向量。

由KKT互补条件知，${\alpha }_i\left(w\cdot x_i+b-y_i-ϵ-{\xi }_i\right)=0$，当${\alpha }_i>0$时，则一定有$w\cdot x_i+b-y_i-ϵ-{\xi }_i=0$，即$w\cdot x_i+b-y_i=ϵ+{\xi }_i$，同理，如要${\hat{\alpha }}_i>0$，则一定有$y_i-(w\cdot x_i+b)-ϵ-{\xi }_i=0$，即$y_i-(w\cdot x_i+b)=ϵ+{\xi }_i$。换言之，如若要${\alpha }_i$和${\hat{\alpha }}_i$不为0，当且仅当即实例$x_i$一定 不在$ϵ-$间隔带内部。

此外，因为实例点一定在$ϵ-$间隔带的某一侧，所以$w\cdot x_i+b-y_i-ϵ-{\xi }_i=0$和$y_i-(w\cdot x_i+b)-ϵ-{\xi }_i=0$不可能同时成立，所以${\alpha }_i和{\hat{\alpha }}_i$中至少必有一个为0。

2. 模型评价

SVM系列至此就介绍完了，这里对该模型做一个评价总结。评价内容摘自刘建平老师的支持向量机原理(五)线性支持回归：

SVM算法是一个很优秀的算法，在集成学习和神经网络之类的算法没有表现出优越性能前，SVM基本占据了分类模型的统治地位。目前则是在大数据时代的大样本背景下，SVM由于其在大样本时超级大的计算量，热度有所下降，但是仍然是一个常用的机器学习算法。

优点：

• 解决高维特征的分类问题和回归问题很有效，在特征维度大于样本数时依然有很好的效果。
• 仅仅使用一部分支持向量来做超平面的决策，无需依赖全部数据。
• 有大量的核函数可以使用，从而可以很灵活的来解决各种非线性的分类回归问题。
• 样本量不是海量数据的时候，分类准确率高，泛化能力强。

缺点：

• 如果特征维度远远大于样本数，则SVM表现一般。
• SVM在样本量非常大，核函数映射维度非常高时，计算量过大，不太适合使用。
• 非线性问题的核函数的选择没有通用标准，难以选择一个合适的核函数。
• SVM对缺失数据敏感。

完整代码地址

完整代码请移步至: 我的github：https://github.com/qingyujean/Magic-NLPer，求赞求星求鼓励~~~

最后：如果本文中出现任何错误，请您一定要帮忙指正，感激~

参考

[1] 西瓜书-机器学习  周志华
[2] 支持向量机原理(五)线性支持回归  刘建平