统计学习（二）：正则化

一、正则化

在统计机器学习中，我们常常希望将我们的变量或者权重进行一定的约束，假设我们的模型为y=ax+b，我们希望对a加以限制，一般有两种选择：

注意这两种选择中要求的值都是$a\&b$，而不是$x$，所以对$a$进行了约束

约束问题：对a的取值加以限制，然后用最小二乘法进行求解，分为等式约束、大小于号约束

constraint form: $(\hat{a},\hat{b})=\underset{\theta }{\mathrm{argmin}}\sum _i(y_i-(a{x}_i+b){)}^{2}s.t{a}^2⩽corg(a)=0$

其中$\hat{a}=\frac{N{\sum }_i{x}_i{y}_i-{\sum }_i{x}_i{\sum }_i{y}_i}{N{\sum }_i{x}_i^2-({\sum }_i{x}_i{)}^2}$，$\hat{b}=\frac{{\sum }_i{y}_i-\hat{a}{\sum }_i{x}_i}{N}$

无约束问题：同时对最小二乘法和参数a进行最小化

Unconstrained form: $(\hat{a},\hat{b})=\underset{\theta }{\mathrm{argmin}}\sum _i(y_i-(a{x}_i+b){)}^2+\lambda a^2$

其中$\hat{a}=\frac{N{\sum }_i{x}_i{y}_i-{\sum }_i{x}_i{\sum }_i{y}_i}{N{\sum }_i{x}_i^2-({\sum }_i{x}_i{)}^2+N\lambda }$，$\hat{b}=\frac{{\sum }_i{y}_i-\hat{a}{\sum }_i{x}_i}{N}$

约束与无约束问题的解区别在于$\hat{a}$的分母是否有$N\lambda$，进行正则化的原因是希望引入额外的信息能够帮助解决不适定的问题

二、约束问题

1. 转化为广义拉格朗日函数

考虑一个最优化问题，对于任意的$x\in c$，原始问题可以表述为
$$\underset{x}{\min }f(x),s.tg(x)=0,h(x)⩽0$$
我们引入广义拉格朗日函数，其中$\eta \ge 0$：
$$L(x,\lambda ,\eta )=f(x)+\lambda g(x)+\eta h(x)$$
将上述公式进行转化为${\Theta }_p(x)$，其中$p$表示原始问题：

$${\Theta }_p(x)=\underset{\lambda ,\eta :\eta \ge 0}{\max }L(x,\lambda ,\eta )=\{\begin{array}{cc}f(x),& x满足原始问题约束\\ +\infty ,& 其他\end{array}$$

考虑极小值问题$\underset{x}{\min }{\Theta }_p(x)=\underset{x}{\min }\underset{\lambda ,\eta :\eta \ge 0}{\max }L(x,\lambda ,\eta )$，注意此问题与$\underset{x}{\min }f(x)$等价，$\underset{x}{\min }\underset{\lambda ,\eta :\eta \ge 0}{\max }L(x,\lambda ,\eta )$问题被称为广义拉格朗日函数的极小极大问题，定义其最优解：

$$p^{\ast }=\underset{x}{\min }{\Theta }_p(x)$$

2. 引入对偶解拉格朗日函数

对偶问题：

注意对偶问题和上述问题不同，上述问题是求$L$的最大值，这里是求最小值

$${\Theta }_d(\lambda ,\eta )=\underset{x}{\min }L(x,\lambda ,\eta )$$

考虑极大值问题$\underset{\lambda ,\eta }{\max }{\Theta }_d(\lambda ,\eta )=\underset{\lambda ,\eta }{\max }\underset{x}{\min }L(x,\lambda ,\eta )$，$\underset{\lambda ,\eta }{\max }\underset{x}{\min }L(x,\lambda ,\eta )$问题被称为广义拉格朗日函数的极大极小问题，定义其最优解：
$$d^{\ast }=\underset{\lambda ,\eta }{\min }{\Theta }_d(\lambda ,\eta )$$

3. 拉格朗日与其对偶问题的关系

上面我们已经写出了拉格朗日问题的最优解$p^{\ast }$以及其对偶问题的最优解$d^{\ast }$，二者关系：
$$\underset{\lambda ,\eta }{\max }\underset{x}{\min }L(x,\lambda ,\eta )=d^{\ast }\le p^{\ast }=\underset{x}{\min }\underset{\lambda ,\eta :\eta \ge 0}{\max }L(x,\lambda ,\eta )$$
上述关系$d^{\ast }\le p^{\ast }$是弱对偶条件，当“$=$“成立时，变成强对偶条件，此时$d^{\ast }=p^{\ast }$，可以用此结论来通过求解对偶问题得到拉格朗日函数的答案

对于可微函数，在KKT条件下强对偶成立，此时：

$$\{\begin{array}{c}{▽}_{x}f(x)+{▽}_x\lambda g(x)+{▽}_x\eta h(x)=0\\ g(x)=0\\ h(x)\le 0\\ \eta \ge 0\\ \eta h(x)=0\end{array}$$

**KKT条件：**分为三种，一种是无约束，一种是等式约束$g(x)=0$，另一种是不等式约束$h(x)\le 0$