机器学习基础学习笔记（三）过拟合、欠拟合

以下内容均为https//nndl.github.io/nndl-book.pdf的学习笔记。
上节说了经验风险最小化准则（ERM），过拟合与欠拟合理论均与其有关。
所得：我们可以将机器学习看作一个从有限、高维、有噪声的数据上得到更一般性规律的泛化问题。

过拟合（overfitting)

1.定义

简单说：过拟合表现在对训练数据依赖产生过度自信的性能，但对于测试集则能力不足，是”纸上谈兵“。

2.理论基础

根据大数定理可知，当训练集大小|𝒟| 趋向于无穷大时，经验风险就趋向于期望风险．
1）真实训练样本子集较小，达不到无穷大要求。
2）含有噪声，不能真实的反映原数据真实分布。
综上，．经验风险最小化原则很容易导致模型在训练集上错误率很低，但是在未知数据上错误率很高。

3.过拟合产生的原因以及解决方法

1）原因
由于训练数据少和包含噪声、模型能力强。
2）解决方法

结构风险最小化（Structure Risk Minimization，SRM）准则：在经验风险最小化（ERM）的基础上再引入参数的正则化（Regularization）来限制模型能力，使其不要过度地最小化经验风险的准则。

其中‖𝜃‖ 是ℓ2 范数的正则化项，用来减少参数空间，避免过拟合；𝜆 用来控制正则
化的强度．

正则化也可以使用其他函数，比如ℓ1 范数．ℓ1 范数的引入通常会使得参数有一定稀疏性。
本质：从贝叶斯学习的角度来讲，正则化是引入了参数的先验分布，使其不完全依赖训练数据。

欠拟合-Underfitting

1.定义

模型不能很好地拟合训练数据，在训练集上的错误率比较高．

2.原因qian

模型能力不足。

过拟合与欠拟合所思考到的机器学习本质

给定一个训练集，机器学习的目标是从假设空间中找到一个泛化错误较低的“理想”模型，以便更好地对未知的样本进行预测，特别是不在训练集中出现的样本．
因此，我们可以将机器学习看作一个从有限、高维、有噪声的数据上得到更一般性规律的泛化问题。