容量、过拟合和欠拟合（个人笔记）

泛化： 在先前为观测到的输入上表现良好的能力

泛化误差： 被定义为新输入的误差期望

欠拟合(underfitting): 指模型不能在训练集上获得足够低的误差

过拟合(overfitting)： 指训练误差和测试误差之间的差距太大

通过调整模型的容量(capacity)， 我们可以控制模型是否偏向于过拟合或者欠拟合

Capacity： 指其拟合各种函数的能力

控制训练算法容量的方法： 1. 选择假设空间，即学习算法可以选择为解决方案的函数集

广义线性回归的假设空间包括多项式函数，而非仅有线性函数

VC维： 该分类器能够分类的训练样本的最大数目，度量二元分类器的容量

假设存在m个不同x点的训练集， 分类器可以任意地标记该m个不同的x点， VC维被定义为m的最大可能值

量化模型的容量是的统计学习理论可以进行量化预测。

训练误差和泛化误差之间差异的上界随着模型容量增长而增长， 但随着训练样本增加而下降

然而这些边界很少用于实际的深度学习算法：1. 边界太松 2.很难确定深度学习算法的容量