小白学机器学习西瓜书-第六章支持向量机(4)

6.7 支持向量回归

对于样本$(x,y)$而言，传统的回归模型是基于模型输入$f(x)$与真实$y$之间的差别来计算损失，当且仅当$f(x)$与$y$完全相同时，损失才为0。

而支持向量机是不同的，仅当$f(x)$与$y$之间有大于$ϵ$的偏差时，我们才计算损失，这相当于以$f(x)$为中心构建了一个宽度为$ϵ$的间隔带，如果训练样本落入该间隔带，都被认为预测是正确的。

用公式来表示即为
$$\underset{w,b}{\min }\frac{1}{2}\mid \mid w\mid {\mid }^2+C\sum _{i=1}^m{l}_{ϵ}(f(x_i)-y_i)\text{\hspace{1em}(30)}$$

其中C为正则化常数，$l_{ϵ}$是不敏感损失
$$l_{ϵ}(z)=\{\begin{array}{ll}0& if\mid z\mid \le ϵ\\ \mid z\mid -ϵ& otherwise\end{array}\text{\hspace{1em}(31)}$$

引入松弛变量${\xi }_i$和$\widehat{{\xi }_i}$。
值得注意的是，之所以引入两个松弛变量是因为间隔带两侧的松弛程度是不一样的。
令${\xi }_i=l_{ϵ}(z)$，显然 ${\xi }_i\ge 0$
当$\mid z\mid \le ϵ$时，${\xi }_i=0$
当$\mid z\mid >ϵ$时，${\xi }_i=\mid z\mid -ϵ>0$
可以推出 $\mid z\mid -ϵ\le {\xi }_i$，即 $\mid z\mid \le {\xi }_i+ϵ$
$-{\xi }_i-ϵ\ge z\le {\xi }_i+ϵ$，即$-{\xi }_i-ϵ\ge f(x_i)-y_i\le {\xi }_i+ϵ$

对式（30）进行重写
$$\begin{gathered} \underset{w,b,{\xi }_i,\widehat{{\xi }_i}}{\min }\frac{1}{2}\mid \mid w\mid {\mid }^2+C\sum _{i=1}^m({\xi }_i+\widehat{{\xi }_i}) \\ s.t.f(x_i)-y_i\le ϵ+{\xi }_i \\ {y}_i-f(x_i)\le ϵ+\widehat{{\xi }_i} \\ {\xi }_i\ge 0,\widehat{{\xi }_i}\ge 0,i=1,2,...,m\text{\hspace{1em}(32)} \end{gathered}$$

类似之前的做法，我们引入拉格朗日乘子写出拉格朗日函数
$$\begin{gathered} L(w,b,{\xi }_i,\widehat{{\xi }_i},\alpha ,\hat{\alpha },\mu ,\hat{\mu })=\frac{1}{2}\mid \mid w\mid {\mid }^2+C\sum _{i=1}^m({\xi }_i+\widehat{{\xi }_i}) \\ +\sum _{i=1}^m{\alpha }_i(f(x_i)-y_i-ϵ-{\xi }_i)+\sum _{i=1}^m\widehat{{\alpha }_i}(y_i-f(x_i)-ϵ-\widehat{{\xi }_i}) \\ -\sum _{i=1}^m{\mu }_i{\xi }_i-\sum _{i=1}^m\widehat{{\mu }_i}\widehat{{\xi }_i}\text{\hspace{1em}(33)} \end{gathered}$$

其中$f(x_i)=w^T{x}_i+b$

分别对自变量求偏导
$$\begin{gathered} \frac{l}{\partial w}=w+\sum _{i=1}^m{\alpha }_i{x}_i-\sum _{i=1}^m\widehat{{\alpha }_i}{x}_i \\ \frac{l}{\partial b}=\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m\widehat{{\alpha }_i} \\ \frac{l}{\partial {\xi }_i}=C-{\alpha }_i-{\mu }_i \\ \frac{l}{\partial \widehat{{\xi }_i}}=C-\widehat{{\alpha }_i}-\widehat{{\mu }_i} \end{gathered}$$
令他们为0，整理一下
$$\begin{gathered} w=\sum _{i=1}^m(\widehat{{\alpha }_i}-{\alpha }_i)x_i \\ \sum _{i=1}^m(\widehat{{\alpha }_i}-{\alpha }_i)=0 \\ C={\alpha }_i+{\mu }_i \\ C=\widehat{{\alpha }_i}+\widehat{{\mu }_i}\text{\hspace{1em}(34)} \end{gathered}$$

将式（34）带入拉格朗日函数，即可得到对偶问题
$$\begin{gathered} \underset{\alpha ,\widehat{{\alpha }_i}}{\max }\sum _{i=1}^m{y}_i(\widehat{{\alpha }_i}-{\alpha }_i)-ϵ(\widehat{{\alpha }_i}+{\alpha }_i)-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m(\widehat{{\alpha }_i}-{\alpha }_i)(\widehat{{\alpha }_j}-{\alpha }_j)x_i^T{x}_j \\ s.t.\sum _{i=1}^m(\widehat{{\alpha }_i}-{\alpha }_i)=0 \\ C\ge {\alpha }_i,\widehat{{\alpha }_i}\ge 0,i=1,2,...,m\text{\hspace{1em}(35)} \end{gathered}$$

还需要满足KKT条件
$$\{\begin{array}{l}{\alpha }_i(f(x_i)-y_i-ϵ-{\xi }_i)=0\\ \widehat{{\alpha }_i}(y_i-f(x_i)-ϵ-\widehat{{\xi }_i})=0\\ {\mu }_i{\xi }_i=0,\widehat{{\mu }_i}\widehat{{\xi }_i}=0;=>(C-{\alpha }_i){\xi }_i=0,(C-\widehat{{\alpha }_i})\widehat{{\xi }_i}=0\\ f(x_i)-y_i\le ϵ+{\xi }_i\\ y_i-f(x_i)\le ϵ+\widehat{{\xi }_i}\\ {\xi }_i\ge 0,\widehat{{\xi }_i}\ge 0,{\alpha }_i\ge 0,\widehat{{\alpha }_i}\ge 0,i=1,2,...,m\end{array}\text{\hspace{1em}(36)}$$

当且仅当 $f(x_i)-y_i-ϵ-{\xi }_i=0$ 时，${\alpha }_i$能取非零值
当且仅当 $y_i-f(x_i)-ϵ-\widehat{{\xi }_i}=0$ 时，$\widehat{{\alpha }_i}$能取非零值
即样本不落入间隔带中，相应的 ${\alpha }_i,\widehat{{\alpha }_i}$才能取非零值，而 $f(x_i)-y_i-ϵ-{\xi }_i=0$ 和 $y_i-f(x_i)-ϵ-\widehat{{\xi }_i}=0$ 不同时成立，因此${\alpha }_i,\widehat{{\alpha }_i}$中至少有一个为0