【机器学习系列】之支持向量回归SVR

作者：張張張張
github地址：https://github.com/zhanghekai
【转载请注明出处，谢谢！】

【机器学习系列】之SVM硬间隔和软间隔
【机器学习系列】之SVM核函数和SMO算法
【机器学习系列】之支持向量回归SVR
【机器学习系列】之sklearn实现SVM代码

一、SVM回归模型概述

对于SVM回归模型：给定样本 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x m , y m ) } , y ∈ R D=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_m,y_m)\}, y\in R D={ (x1​,y1​),(x2​,y2​),⋯,(xm​,ym​)},y∈R(由于是回归模型，$y$没有类别)，我们的目标是让训练集中的每个点$(x_i,y_i)$尽量拟合到一个线性模型$y_i=w\cdot \varphi (x_i)+b$。

对于一般的回归模型： 通常采用均方差作为损失函数。传统回归模型通常直接基于“模型输出”与“真实输出”之间的差别来计算损失，当切仅当二者完全相同时，损失才为$0$。

对于SVM回归模型： “支持向量回归（Support Vector Regression）”需要定义一个常量$ϵ>0$,$ϵ$为能容忍“模型输出”与“真实输出”之间最多有$ϵ$的偏差。

• 如果$|y_i-w\cdot \varphi (x_i)-b|\le ϵ$，则完全没有损失；
• 如果$|y_i-w\cdot \varphi (x_i)-b|\ge ϵ$，则对应的损失为$|y_i-w\cdot \varphi (x_i)-b|-ϵ$

即： 仅当$f(x)=w\cdot \varphi (x_i)-b$与$y$之间的差别绝对值大于$ϵ$时才计算损失。

如下图所示，这相当于以$f(x)$为中心，构建了一个宽度为$2ϵ$的间隔带，若训练样本落入此间隔带，则认为是被预测正确的。

综上所述，SVM回归模型的损失函数度量为：
$$err(x_i,y_i)=\{\begin{array}{l}0,|y_i-w\cdot \varphi (x_i)-b|\le ϵ\\ |y_i-w\cdot \varphi (x_i)-b|-ϵ,|y_i-w\cdot \varphi (x_i)-b|>ϵ\end{array}$$

二、SVM回归模型目标函数

定义SVM回归模型目标函数为：
$$\begin{gathered} \underset{w,b}{\underbrace{min}}\frac{1}{2}||w|{|}^2 \\ s.t.|y_i-w\cdot \varphi (x_i)-b|\le ϵ(i=1,2,\cdots ,m) \end{gathered}$$

回归模型也可以对每个样本加入松弛变量，但由于这里$s.t.$处用的是绝对值，实际上是两个不等式，即两边都需要松弛变量，定义松弛变量为$\check{\xi }、\hat{\xi }$，加入松弛变量后的SVM回归模型的损失函数为：
$$\begin{gathered} \underset{w,b,{\check{\xi }}_i,{\hat{\xi }}_i}{\underbrace{min}}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m({\check{\xi }}_i+{\hat{\xi }}_i) \\ s.t.-ϵ-{\check{\xi }}_i\le y_i-w\cdot \varphi (x_i)-b\le ϵ+{\hat{\xi }}_i \\ {\check{\xi }}_i\ge 0,{\hat{\xi }}_i\ge 0(i=1,2,\cdots ,m) \end{gathered}$$

间隔带两侧的松弛程度可有所不同。

同SVM分类模型相似，可以用拉格朗日函数将目标优化哈数变成无约束的形式：

• 带求目标$f(x)=\underset{w,b,{\check{\xi }}_i,{\hat{\xi }}_i}{\underbrace{min}}\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^m({\check{\xi }}_i+{\hat{\xi }}_i)$
• 不等式约束：
  • h 1 ( x ) = y i − w ⋅ ϕ ( x i ) − b − ϵ − ξ ^ i ≤ 0 h_1(x)=y_i-w\cdot\phi(x_i)-b- \epsilon-\hat{\xi}_i\leq0 h