Lecture 14 ：Regularization

Lecture 14 ：Regularization

【参考】https://redstonewill.com/252/

【概括】
本节课主要介绍了Regularization。

1. 首先，原来的hypothesis set加上一些限制条件，就成了Regularized Hypothesis Set。
2. 加上限制条件之后，我们就可以把问题转化为Eaug最小化问题，即把w的平方加进去。
3. 这种过程，实际上回降低VC Dimension。
4. 最后，介绍regularization是通用的机器学习工具，设计方法通常包括target-dependent，plausible，friendly等等。
   下节课将介绍如何选取合适的\ambda来建立最佳拟合模型。

14.1 Regularized Hypothesis Set

如何对过拟合现象进行修正，使hypothesis更接近于target function呢？一种方法就是regularized fit。

这种方法得到的红色fit曲线，要比overfit的红色曲线平滑很多，更接近与目标函数，它的阶数要更低一些。那么问题就变成了我们要把高阶（10阶）的hypothesis sets转换为低阶（2阶）的hypothesis sets。通过下图我们发现，不同阶数的hypothesis存在如下包含关系：

我们发现10阶多项式hypothesis sets里包含了2阶多项式hypothesis sets的所有项，那么在H10中加入一些限定条件，使它近似为H2即可。
这种函数近似曾被称之为不适定问题（ill-posed problem）。

对于高阶的hypothesis，为了防止过拟合，我们可以将其高阶部分的权重w限制为0，这样，就相当于从高阶的形式转换为低阶，fit波形更加平滑，不容易发生过拟合。

14.2 Weight Decay Regularization

14.3 Regularization and VC Theory

下面我们研究一下Regularization与VC理论之间的关系。Augmented Error表达式如下：

VC Bound表示为：

14.4 General Regularizers

regularization是通用的机器学习工具，设计方法通常包括target-dependent，plausible，friendly等等

regularizer与error measure是机器学习模型设计中的重要步骤。