模型过拟合与欠拟合

过拟合与欠拟合

1.过拟合
概念：学习器将样本自身的特征当做所有样本的潜在特征进行学习，称为过拟合
表现：训练误差非常小，而泛化误差较大，二者表现出明显差异
2.欠拟合
概念：学习器对所有训练样本的潜在特征尚未学好，称为欠拟合
表现：训练误差与泛化误差都非常大

偏差与方差理论

对测试样本$x$，$y_{{}_D}$为$x$在训练集D中的标记，$y_{true}$为$x$的真实标记，$f(x;D)$为$x$在训练集$D$上模型的学得的模型输出，模型在训练集$D$上的期望预测为$$\bar{f}(x)=E_D(f(x;D))$$
1.偏差
模型输出的期望与真实标记的差别称为偏差，即$$bia{s}^2(x)=(\bar{f}(x)-y_{true}{)}^2$$
2.方差
样本数相同的不同训练集产生的方差，即$$var(x)=E_D[f(x;D)-\bar{f}(x{)}^2]$$
3.噪声
训练集标记与真实样本的差别为噪声，即$${\epsilon }^2=E_D[(y_D-y_{true}{)}^2]$$
4.泛化误差分解
假定噪声期望为$0$，即$E_D[(y_D-y_{true})]=0$，则可将算法期望泛化误差按下式分解为：
$$E(f;D)=E_D[(f(x;D)-y_D{)}^2]$$ $$=E_D[(f(x;D)-\bar{f}(x)+\bar{f}(x)-y_D{)}^2]$$ $$=E_D[(f(x;D)-\bar{f}(x){)}^2]+E_D[(\bar{f}(x)-y_D{)}^2]+E_D[2(f(x;D)-\bar{f}(x))(\bar{f}(x)-y_D)]$$ 考虑噪声和$f$不相互依赖，令$E_D[2(f(x;D)-\bar{f}(x))(\bar{f}(x)-y_D)]=0$，则有
$$=E_D[(f(x;D)-\bar{f}(x){)}^2]+E_D[(\bar{f}(x)-y_D{)}^2]$$ $$=E_D[(f(x;D)-\bar{f}(x){)}^2]+E_D[(\bar{f}(x)-y_{true}+y_{true}-y_D{)}^2]$$ $$=E_D[(f(x;D)-\bar{f}(x){)}^2]+E_D[(\bar{f}(x)-y_{true}{)}^2]+E_D[(y_{true}-y_D{)}^2]+E_D[(\bar{f}(x)-y_{true})(y_{true}-y_D)]$$
假定期望噪声为0，则$E_D[(\bar{f}(x)-y_{true})(y_{true}-y_D)]=0$，最终泛化误差为
$$E(f;D)=E_D[(f(x;D)-\bar{f}(x){)}^2]+(\bar{f}(x)-y_{true}{)}^2+E_D[(y_{true}-y_D{)}^2]$$
从上式可以的值，泛化误差取决于方差、偏差和噪声。

5.偏差-方差窘境
偏差： 度量了模型的期望预测与真实结果的偏离程度，刻画了模型本身的拟合能力
方差： 度量了同样大小训练集的变动所导致的学习性能的变化，刻画了数据扰动所造成的影响
噪声： 表达了当前任务上模型所能达到的期望泛化误差的下界，刻画了学习问题本身的难度
在模型训练不足时，学习器拟合能力不够强，训练数据的扰动不足使学习器产生显著变化，此时偏差主导泛化误差；随着模型训练程度加深，学习器拟合能力逐渐增强，训练数据的扰动渐渐能够被学习器所学到，方差逐渐主导泛化误差，随着这个过程的继续，学习器拟合能力将变得非常强，此时训练数据的轻微扰动会导致学习器的显著变化，若非全局样本特征被学到，此时将发生过拟合

如何解决过拟合与欠拟合

1.过拟合
正则化
批正则化层
dorpout层
2.欠拟合
提升模型复杂度