机器学习优化模型——结构风险与正则化

结构风险及其一般优化模型

经验误差做到最好，甚至到0，并不是一件好事，会造成严重的过拟合现象。因此，引入结构风险最小化的概念，来代替经验风险最小化。

1. 经验风险最小和过拟合

过拟合是不可以避免的，但是我们可以缓解。措施如下：

• 增加样本数量和压缩特征数量
• 提前退出训练
• 结构风险最小和正则化

结构风险由经验风险和正则化项（惩罚函数）组成：
$$R_{str}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))+\lambda J(f)\text{\hspace{1em}(1.1)}$$

这么做的原因在于：

• 如果模型过拟合，那他一定是极其复杂的。我们就从结论入手，让模型不那么复杂。如果让正则项$J(f)$代表模型的复杂度，那么就让他最小就好啦。
• 除了要让正则想最小，经验风险这一项取最小值也是必须的。

结合这两点,我们把结构风险表述为上面的式子，对结构风险最小化即可。

2. 结构风险最小和正则化

常见的正则化——回归的正则化：

1. 线性回归

2. 多项式回归

3. 岭回归

4. Lasso回归

   …

2.1 $L_2$正则化和岭回归

• $L_2$是一种常用的正则化手段:
  $$L_2(\theta )=||\theta |{|}_{}$$