统计学习理论的本质 笔记 6-8 函数估计与VRM

6 函数估计的方法

6.1 $ϵ$ 不敏感损失函数

1964年 Huber 提出，如果我们只知道描述噪声的密度是一个对称函数，那么在最坏的噪声模型下最好的逼近（最小最大策略）为采用损失函数 $L(y,f(x,\alpha ))=|y-f(x,\alpha )|$, 在这个损失函数下最小化经验风险的方法称为最小模方法，属于鲁棒回归（robust regression）方法。
Huber还考虑了正态噪声与某一对称噪声混合的情况，此时最优解在使用如下损失函数时得到
$$L(|y-f(x,\alpha )|)=\{\begin{array}{ll}c|y-f(x,\alpha )|-\frac{c^2}{2}& if|y-f(x,\alpha )|>c\\ \frac{1}{2}|y-f(x,\alpha ){|}^2& if|y-f(x,\alpha )|\le c\end{array}$$
为了对实值函数（近似上面的损失函数）构造SVM,我们引入$ϵ$不敏感损失函数
$$|y-f(x,\alpha ){|}_{ϵ}=(|y-f(x,\alpha )|-ϵ{)}_{+}$$

6.2 用于回归函数估计的SVM

对固定结构的解
设存在结构
S n = { ∣ y − ( w ⋅ x + b ) ∣ ϵ : w ⋅ w ≤ c n } S_n= \{|y-(w \cdot x + b)|_\epsilon:w \cdot w \le c_n\} Sn​={ ∣y−(w⋅x+b)∣ϵ​:w⋅w≤cn​}
经验风险
$$R_{emp}(w,b)=\frac{1}{l}\sum _{i=1}^l|y-(w\cdot x+b){|}_{ϵ}$$
设
$$\begin{gathered} |y_i-(w\cdot x_i+b){|}_{ϵ}={\xi }_{i0}\to |y_i-(w\cdot x_i+b)|\le ϵ+{\xi }_{i0} \\ \to y_i-(w\cdot x_i+b)\le ϵ+{\xi }_i^{\ast },(w\cdot x_i+b)-y_i\le ϵ+{\xi }_i \\ \to R_{emp}(w,b)=\sum _{i=1}^l{\xi }_i+\sum _{i=1}^l{\xi }_i^{\ast } \end{gathered}$$
上式省略了常数系数 $1/l$。显然上式最小化后会有 ${\xi }_i{\xi }_i^{\ast }=0$ 故 ${\xi }_i+{\xi }_i^{\ast }={\xi }_{i0}$。故有约束条件
$$\begin{gathered} y_i-(w\cdot x_i+b)\le ϵ+{\xi }_i^{\ast },(w\cdot x_i+b)-y_i\le ϵ+{\xi }_i \\ {\xi }_i\ge 0,{\xi }_i^{\ast }\ge 0,w\cdot w\le c_n \end{gathered}$$
拉格朗日函数
$$\begin{gathered} L(w,b,\alpha ,\beta ,\lambda )=\sum _{i=1}^l{\xi }_i+\sum _{i=1}^l{\xi }_i^{\ast }+\sum _{i=1}^l{\beta }_i(-{\xi }_i)+\sum _{i=1}^l{\beta }_i^{\ast }(-{\xi }_i^{\ast })+\frac{\lambda }{2}(w\cdot w-c_n) \\ +\sum _{i=1}^l{\alpha }_i^{\ast }(y_i-(w\cdot x_i+b)-ϵ-{\xi }_i^{\ast })+\sum _{i=1}^l{\alpha }_i((w\cdot x_i+b)-y_i-ϵ-{\xi }_i), \\ {\alpha }_i\ge 0,{\alpha }_i^{\ast }\ge 0,{\beta }_i\ge 0,{\beta }_i^{\ast }\ge 0,\lambda \ge 0 \end{gathered}$$
目标为 $\underset{\alpha ,\beta ,\lambda }{\max }\underset{w,b,\xi }{\min }L$，对拉格朗日函数求梯度得
$$\begin{gathered} \frac{\partial L}{\partial w}=0\to w=\sum _{i=1}^l\frac{{\alpha }_i^{\ast }-{\alpha }_i}{\lambda }{x}_i \\ \frac{\partial L}{\partial b}=0\to \sum _{i=1}^l({\alpha }_i^{\ast }-{\alpha }_i)=0 \\ \frac{\partial L}{\partial {\xi }_i}=0\to {\alpha }_i+{\beta }_i=1 \\ \frac{\partial L}{\partial {\xi }_i^{\ast }}=0\to {\alpha }_i^{\ast }+{\beta }_i^{\ast }=1 \end{gathered}$$
代入拉格朗日函数可得到该问题的对偶问题,最大化泛函
$$W(\alpha ,\lambda )=-ϵ\sum _{i=1}^l({\alpha }_i^{\ast }+{\alpha }_i)+\sum _{i=1}^l{y}_i({\alpha }_i^{\ast }-{\alpha }_i)-\frac{1}{2\lambda }\sum _{i,j=1}^l({\alpha }_i^{\ast }-{\alpha }_i)({\alpha }_j^{\ast }-{\alpha }_j)(x_i\cdot x_j)-\frac{\lambda }{2}{c}_n$$
约束条件
$$\sum _{i=1}^l({\alpha }_i^{\ast }-{\alpha }_i)=0,0\le {\alpha }_i\le 1,0\le {\alpha }_i^{\ast }\le 1,\lambda \ge 0,\beta =1-\alpha$$
还需满足 Kuhn-Tucker条件
$$\begin{gathered} {\beta }_i{\xi }_i=0,{\beta }_i^{\ast }{\xi }_i^{\ast }=0,\lambda (w\cdot w-c_n)=0 \\ {\alpha }_i^{\ast }(y_i-(w\cdot x_i+b)-ϵ-{\xi }_i^{\ast })=0,{\alpha }_i((w\cdot x_i+b)-y_i-ϵ-{\xi }_i)=0 \end{gathered}$$
其中 $\frac{{\alpha }_i^{\ast }-{\alpha }_i}{\lambda }\ne 0$ 的项决定了支持向量（$x_i$ 对 $w$ 有贡献）。

采用软间隔的基本解
最小化泛函
$$\Phi (w,b)=\frac{1}{2}w\cdot w+C(\sum _{i=1}^l{\xi }_i+\sum _{i=1}^l{\xi }_i^{\ast })$$
拉格朗日函数
$$L(w,b,\alpha ,\beta )=\frac{1}{2}w\cdot w+C\sum _{i=1}^l{\xi }_i+C\sum _{i=1}^l{\xi }_i^{\ast }+\sum _{i=1}^l{\beta }_i(-{\xi }_i)$$