机器学习基础---回归方法---支持向量回归（SVR）

支持向量回归（SVR）

方法描述

核心思想：

• 用线性模型（$f(x)=w^{T}x+b$）对回归问题进行拟合

• 确定的线性模型对应$w，b$唯一确定一个超平面$w^{T}x+b=0$

• 不同于一般线性模型，在超平面两侧定义间隔$ϵ$，在间隔带内则不计算损失，当且仅当f(x)与y之间的差距的绝对值大于$ϵ$才计算损失

• 通过最大化间隔带的宽度与最小化总损失来优化模型

相关概念

• 硬间隔

  • 最大容忍偏差为$ϵ$，仅当$|f(x)-y|>ϵ$时计算误差

  • 即形式化目标为：
    $$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{l}_{ϵ}(f(x_i),y_i) \\ {l}_{ϵ}(f(x_i),y_i)=\{\begin{array}{l}0|f(x_i)-y_i|<ϵ\\ |f(x_i)-y_i|-ϵelse\end{array} \end{gathered}$$

• 软间隔

  • 实际任务中，往往很难直接确定合适的$ϵ$，使大部分点都在间隔带之内

  • 因此引入松弛变量$\xi ,\bar{\xi }$，从而使函数的间隔要求变的放松，允许一些训练样本不在间隔内

    对于任意样本$x_i$,如果它在间隔带里面或者边缘上，${\xi }_i=\overline{({\xi }_i})=0$

    样本$x_i$在间隔带外，需要通过松弛变量将点移动到间隔带内，此处需要进行两个约束：能移进间隔，不会超出间隔

  • 此时，所有样本满足条件
    $$|y_i-f(x_i)|\le ϵ+{\xi }_i$$

  • 优化目标可以重写为：
    $$\begin{gathered} \underset{w,b,{\xi }_o,{\bar{\xi }}_i}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n({\xi }_i+\overline{{\xi }_i}) \\ \begin{array}{rl}s.t.& f(x_i)-y_i\le ϵ+{\xi }_i\\ & y_i-f(x_i)\le ϵ+\overline{{\xi }_i}\\ & {\xi }_i>0,\overline{{\xi }_i}>0\end{array} \end{gathered}$$

方法推导

针对软间隔目标进行优化：

• 构建拉格朗日方程：
  $$\begin{gathered} L(w,b,\xi ,\bar{\xi },\alpha ,\bar{\alpha },\mu ,\bar{\mu })= \\ \frac{1}{2}||w|{|}^2+C\sum _{i=1}^n({\xi }_i+\overline{{\xi }_i})+\sum _{i=1}^n{\alpha }_i(f(x_i)-y_i-ϵ-{\xi }_i)+\sum _{i=1}^n\overline{{\alpha }_i}(y_i-f(x_i)-ϵ-\overline{{\xi }_i})+\sum _{i=1}^n{\mu }_i(0-{\xi }_i)+\sum _{i=1}^n\overline{{\mu }_i}(0-\overline{{\xi }_i}) \end{gathered}$$

• 求对$w$偏导，令为0，得：
  $$\begin{gathered} \frac{\partial L}{\partial w}=w+\sum _{i=1}^n{\alpha }_i{x}_i-\sum _{i=1}^n\overline{{\alpha }_i}{x}_i=0 \\ 有：w=\sum _{i=1}^n(\overline{{\alpha }_i}-{\alpha }_i)x_i \end{gathered}$$
  同时又有其他偏导约束：
  $$\frac{\partial L}{\partial b}=\sum _{i=1}^n{\alpha }_i-\sum _{i=1}^n\overline{{\alpha }_i}=0$$

• 同时，满足KKT条件：
  $$\begin{gathered} {\alpha }_i^{\ast }(f(x_i^{\ast })-y_i^{\ast }-ϵ-{\xi }_i^{\ast })=0 \\ \overline{{\alpha }_i^{\ast }}(f(x_i^{\ast })-y_i^{\ast }-ϵ-\overline{{\xi }_i^{\ast }})=0 \\ {\alpha }_i^{\ast }\overline{{\alpha }_i^{\ast }}=0,{\xi }_i^{\ast }\overline{{\xi }_i^{\ast }}=0 \\ (C-{\alpha }_i^{\ast }){\xi }_i^{\ast }=0,(C-\overline{{\alpha }_i^{\ast }})\overline{{\xi }_i^{\ast }}=0 \end{gathered}$$

• 在${\alpha }^{\ast },\overline{{\alpha }^{\ast }}$确定情况下，有：
  $$\begin{gathered} w^{\ast }=\sum _{i=1}^n(\overline{{\alpha }_i}-{\alpha }_i)x_i \\ {b}^{\ast }=y_i^{\ast }-{w^{\ast }}^{T}x \end{gathered}$$

• SVR的解形如:
  $$f(x)=\sum _{i=1}^n(\overline{{\alpha }_i}-{\alpha }_i)x_i^T\cdot x+b$$
  满足$\overline{{\alpha }_i}-{\alpha }_i\ne 0$的样本（间隔带之外样本）是SVR的支持向量，即$w$可以视作支持向量线性组合

• 为完成优化，通过SMO方法求解
  $$\underset{\alpha ,\bar{\alpha }}{\min }L$$
  得到${\alpha }^{\ast },\overline{{\alpha }^{\ast }}$，计算$w={\sum }_{i=1}^n(\overline{{\alpha }_i}-{\alpha }_i)x_i$

方法流程

• 构造输入数据矩阵$X=[x_1,x_2,...,x_n]$，标签矩阵$Y=[y_1,y_2,...,y_n{]}^T$
• 构造拉格朗日方程L，并用SMO方法求解令$L$最小的${\alpha }^{\ast }与\overline{{\alpha }^{\ast }}$
• 计算$w\ast ={\sum }_{i=1}^n(\overline{{\alpha }_i}-{\alpha }_i)x_i$与$b^{\ast }=y_i^{\ast }-{w^{\ast }}^{T}x$
• 得到SVR模型：$f(x)=w^{T}x+b^{\ast }$

参考资料

【1】支持向量机SVM、支持向量回归SVR详细推导