机器学习基础学习笔记（六）偏差-方差分解角度来避免过拟合、欠拟合

以下内容均为https//nndl.github.io/nndl-book.pdf的学习笔记。

偏差-方差分解

存在问题

拟合能力强模型，复杂度高，但存在过拟合问题。
复杂度低的模型，拟合能力弱，存在欠拟合问题。
如何平衡好拟合能力与复杂度之间的关系？

偏差-方差分解（Bias-Variance Decomposition）的作用

偏差与方差的意义

偏差（Bias）：指一个模型在不同训练集上的平均性能和最优模型的差异，可以用来衡量一个模型的拟合能力。值越小越好。
方差（Variance）:是指一个模型在不同训练集上的差异，可以用来衡量一个模型是否容易过拟合。值越小越好。

损失𝜖 通常是由于样本分布以及噪声引起的，无法通过优化模型来减少。
最小化期望错误ℛ(𝑓)等价于最小化偏差和方差之和。

偏差与方差值图示

每个图的中心点为最优模型𝑓∗(𝒙)，蓝点为不同训练集𝐷 上得到的模型𝑓𝒟 (𝒙).

图	意义
a)低偏差，低方差	理想情况
b)高偏差，低方差	泛化能力好，拟合能力不足
c)低偏差，高方差	拟合能力好，泛化能力不足
d)高偏差，高方差	最差

偏差与方差值对于欠拟合与过拟合指导

1. 方差一般会随着训练样本的增加而减少，当训练样本足够多的化，需要选择能力强模型来减小偏差。
但存在训练集有限，无法兼顾最优方差与最优偏差。
2.图2.7给出了机器学习模型的期望错误、偏差和方差随复杂度的变化情况，其中红色虚线表示最优模型．最优模型并不一定是偏差曲线和方差曲线的交点．
解释：模型越复杂，拟合能力越强，与最优模型差距越小，bias呈下降。
模型越复杂，对应过拟合风险越大，variance呈上升。
最后在拟合能力与复杂度平衡，即偏差与方差平衡后，得到最优模型。

3.对于深度学习指导
1）当一个模型在训练集上的错误率比较高时，说明模型的拟合能力不够，偏差比较高------------->增加数据特征、提高模型复杂度、减小正则化系数等操作来改进。(欠拟合）
2）当模型在训练集上的错误率比较低，但验证集上的错误率比较高时，说明模型过拟合，方差比较高--------->可以通过降低模型复杂度、加大正则化系数、引入先验等方法来缓解.（过拟合）
3)还有一种有效降低方差的方法为集成模型，即通过多个高方差模型的平均来降低方差。（过拟合）