Coursera - 机器学习技法 - 课程笔记 - Week 6

Support Vector Regression

Kernel Ridge Regression

• 类似对LR的处理，利用对最佳权重的表示理论，有：

$$\underset{\beta }{\min }\frac{\lambda }{N}\sum _{n=1}^N\sum _{m=1}^N{\beta }_n{\beta }_{m}K({\mathbf{x}}_n,{\mathbf{x}}_m)+\frac{1}{N}\sum _{n=1}^N{\left(y_n-\sum _{m=1}^N{\beta }_{m}K({\mathbf{x}}_n,{\mathbf{x}}_m)\right)}^2$$

• 前一项可以视为对$\beta$的基于$K$的正则项，后一项是基于$K$作为特征的$\beta$的线性回归

$$E_{aug}(\beta )=\frac{\lambda }{N}{\beta }^{\mathrm{T}}\mathbf{K}\beta +\frac{1}{N}({\beta }^{\mathrm{T}}{\mathbf{K}}^{\mathrm{T}}\mathbf{K}\beta -2{\beta }^{\mathrm{T}}{\mathbf{K}}^{\mathrm{T}}\mathbf{y}+{\mathbf{y}}^{\mathrm{T}}\mathbf{y})$$

• 解析解？
• 梯度（$\mathbf{K}$为对称矩阵）：

$$\begin{array}{rl}\nabla E_{aug}(\beta )& =\frac{2}{N}(\lambda \mathbf{K}\beta +{\mathbf{K}}^{\mathrm{T}}\mathbf{K}\beta -{\mathbf{K}}^{\mathrm{T}}\mathbf{y})\\ & =\frac{2}{N}(\lambda {\mathbf{K}}^{\mathrm{T}}\mathbf{I}\beta +{\mathbf{K}}^{\mathrm{T}}\mathbf{K}\beta -{\mathbf{K}}^{\mathrm{T}}\mathbf{y})\\ & =\frac{2}{N}{\mathbf{K}}^{\mathrm{T}}\left((\lambda \mathbf{I}+\mathbf{K})\beta -\mathbf{y}\right)\end{array}$$

• 梯度为0，一个可行解：

$$\beta =(\lambda \mathbf{I}+\mathbf{K}{)}^{-1}\mathbf{y}$$

• 由于$\mathbf{K}$半正定，对于$\lambda >0$括号项的逆一定存在
• 原始的岭回归针对线性回归，更加受限，训练的计算复杂度$O(d^3+d^{2}N)$，预测的计算复杂度$O(d)$，对大数据友好
• 核化岭回归针对非线性，更加灵活，训练$O(N^3)$，测试$O(N)$，对大数据不友好

##　Support Vector Regression Primal

• 核化岭回归——使用最小均方误差的SVM
• 相比于soft-margin SVM：
  • 类似的边界，但是有更多的SV——训练更慢
  • 对偶系数更加稠密
• 能够像标准SVM那样有稀疏的对偶系数——管道回归（Tube Regression）
  • 管道内不贡献误差，管道外以到管道的距离作为误差
  • $|s-y|\le ϵ:0$
  • $|s-y|>ϵ:|s-y|-ϵ$
  • $err(y,s)=\max (0,|s-y|-ϵ)$
  • 称之为$ϵ$不敏感误差
• tube loss类似平方误差，但是更少地受到异常点的影响
• 含L2正则化的管道回归

$$\underset{\mathbf{w}}{\min }\frac{\lambda }{N}{\mathbf{w}}^{\mathrm{T}}\mathbf{w}+\frac{1}{N}\sum _{n=1}^N\max (0,|{\mathbf{w}}^{\mathrm{T}}{\mathbf{z}}_n-y|-ϵ)$$

• 修改成类似SVM的形式：

$$\underset{\mathbf{w},b}{\min }\frac{1}{2}{\mathbf{w}}^{\mathrm{T}}\mathbf{w}+C\sum _{n=1}^N\max (0,|{\mathbf{w}}^{\mathrm{T}}{\mathbf{z}}_n+b-y_n|-ϵ)$$

• 约束变得可以微分：

$$\begin{array}{rl}\underset{b,\mathbf{w},\xi }{\min }& \frac{1}{2}{\mathbf{w}}^{\mathrm{T}}\mathbf{w}+C\sum _{n=1}^N{\xi }_n\\ \mathrm{s}.\mathrm{t}.& |{\mathbf{w}}^{\mathrm{T}}{\mathbf{z}}_n+b-y_n|\le ϵ+{\xi }_n\\ & {\xi }_n\ge 0\end{array}$$

• 去掉绝对值符号：

$$\begin{array}{rl}\underset{b,\mathbf{w},\xi }{\min }& \frac{1}{2}{\mathbf{w}}^{\mathrm{T}}\mathbf{w}+C\sum _{n=1}^N({\xi }_n^{\vee }+{\xi }_n^{\wedge })\\ \mathrm{s}.\mathrm{t}.& -ϵ-{\xi }_n^{\vee }\le y_n-{\mathbf{w}}^{\mathrm{T}}{\mathbf{z}}_n-b\le ϵ+{\xi }_n^{\wedge }\\ & {\xi }_n^{\vee }\ge 0,{\xi }_n^{\wedge }\ge 0\end{array}$$

• 两个不同的$\xi$分别表示上界和下界的误差
• SVR参数：
  • $C$：正则项和违反程度的权衡参数
  • $ϵ$：管道的宽度
• QP：$\tilde{d}+1+2N$个变量，$2N+2N$个问题

SVR Dual

• 对应的对偶拉格朗日乘数${\alpha }_n^{\vee },{\alpha }_n^{\wedge }$
• $\mathbf{w}={\sum }_n({\alpha }_n^{\wedge }-{\alpha }_n^{\vee }){\mathbf{z}}_n$
• ${\sum }_n({\alpha }_n^{\wedge }-{\alpha }_n^{\vee })=0$
• 对条件的互补松弛性，乘积为0
  • ${\alpha }_n^{\wedge }(ϵ+{\xi }_n^{\vee }-y_n+{\mathbf{w}}^{\mathrm{T}}{\mathbf{z}}_n+b)=0$
  • ${\alpha }_n^{\vee }(ϵ+{\xi }_n^{\vee }+y_n-{\mathbf{w}}^{\mathrm{T}}{\mathbf{z}}_n-b)=0$
• 对偶形式：

$$\begin{array}{rl}\min & \frac{1}{2}\sum _{n=1}^N\sum _{m=1}^N({\alpha }_n^{\wedge }-{\alpha }_n^{\vee })({\alpha }_m^{\wedge }-{\alpha }_m^{\vee })k_{n,m}+\sum _{n=1}^N((ϵ-y_n){\alpha }_n^{\wedge }+(ϵ+y_n){\alpha }_n^{\vee })\\ \mathrm{s}.\mathrm{t}.& \sum _{n=1}^N({\alpha }_n^{\wedge }-{\alpha }_n^{\vee })=0\\ & 0\le {\alpha }_n^{\wedge }\le C,0\le {\alpha }_n^{\vee }\le C\end{array}$$

• 对于严格在管道内的点$|{\mathbf{w}}^{\mathrm{T}}{\mathbf{z}}_n+b-y_n|<ϵ$
  • ${\xi }_n^{\wedge }=0,{\xi }_n^{\vee }=0$
  • 内项不为0，对偶系数为零，即$({\alpha }_n^{\wedge }-{\alpha }_n^{\vee })=0$
• 只有在管道外的点才会有非零的$({\alpha }_n^{\wedge }-{\alpha }_n^{\vee })$——稀疏的对偶系数

Summary of Kernel Model