Regularization:The problem of overfitting过度拟合问题----吴恩达机器学习

definition of overfitting

• 定义：
  给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分布上h’比h的错误率小，那么就说假设h过度拟合训练数据。
• 判断方法
  一个假设在训练数据上能够获得比其他假设更好的拟合， 但是在训练数据外的数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。出现这种现象的主要原因是训练数据中存在噪音或者训练数据太少。
• 举例
  • 例1
    
    如上图第三个图所示，虽然拟合的曲线经过了没一个样本点，但是显然拟合结果没有第二个好，我们无法准确预知其后面的走向。
  • 例二
    

解决过度拟合

通常我们有两种解决办法

• 减少特征值
  • 人为选择保留哪些特征
  • 模型选择算法（后述课程中会讲到）
• 正则化
  • 保留所有参数，但是减小参数${\theta }_j$的值，每个特征都贡献了一点。
    

参考

https://baike.baidu.com/item/%E8%BF%87%E6%8B%9F%E5%90%88
https://www.coursera.org/learn/machine-learning/supplement/CUz2O/lecture-slides