一、机器学习的偏差与方差的理解
1. 方差大:训练集的误差小,验证集误差大,对应模型过拟合
2. 偏差大:如果训练集和验证集的误差接近,且都偏大,说明模型效果差,欠拟合
3. 偏差小、方差小:训练集和验证集误差差不多,都比较小,说明模型效果好
偏差与方差对应的解决方法:
1. 高偏差(无法拟合训练数据):换一个更大的模型或网络,模型训练久一点
2. 高方差(过拟合):增大数据集,正则化
理解模型的偏差和方差,可以判断模型的表现,进而采取相应的措施,达到更好的效果。
二、过拟合与解决办法
1. 过拟合
过拟合的直观表现是算法在训练集上表现好,但在测试集上表现不好,泛化性能差。过拟合是在模型参数拟合过程中由于训练数据包含抽样误差,在训练时复杂的模型将抽样误差也进行了拟合导致的。所谓抽样误差,是指抽样得到的样本集和整体数据集之间的偏差。直观来看,引起过拟合的可能原因有:
(1)模型本身过于复杂,以至于拟合了训练样本集中的噪声。此时需要选用更简单的模型,或者对模型进行裁剪。
(2)训练样本太少或者缺乏代表性。此时需要增加样本数,或者增加样本的多样性。
(3)训练样本噪声的干扰,导致模型拟合了这些噪声,这时需要剔除噪声数据或者改用对噪声不敏感的模型。
2. 过拟合的解决方法
2.1