目录
过拟合/高方差(overfiting/high variance)
欠拟合/高偏差(underfiting/high bias)
过拟合和欠拟合是什么?
欠拟合和过拟合属于对立情况,都是导致模型泛化能力不高的两种常见原因,均是模型学习能力和数据复杂性失调的表现。
过拟合/高方差(overfiting/high variance)
过拟合是什么以及检验方法?
问题表现方式:高方差
→如果训练集和测试集的误差间呈现较大的差异时,即为高方差;
→在高方差时,训练集训练效果很好,但是验证集的验证效果很差的时候,即训练集和验证集呈现出较大的差异,即模型的泛化能力差,这种现象称为过拟合。
检验方法:此时,观察模型在训练集和测试集上的损失函数值随着epoch的变化情况,当模型在测试集上的损失函数值出现先下降后上升,那么此时可能出现过拟合。
导致过拟合的原因是什么?
1、训练集数量不足,样本类型单一:例如,如果我们利用只包含负样本的训练集训练模型,然后利用训练好的模型预测验证集中的正样本时,此时就会出现,模型在训练的时候效果特别好,但是在验证的时候效果下降问题。因此,在选取训练集时,应当覆盖所有的数据类型。
2、训练集中存在噪声:噪声是指训练数据集中的干扰数据,噪声数据会误导模型记录较多的错误特征,而忽略了真实样本中的正确特征信息。
3、模型复杂度过高:当模型过于复杂时,会导致模型过于充分地学习到训练数据集中的特征信息,但是遇到没有见过的数据的时候不能够变通,泛化能力太差。我们希望模型对不同的数据都有稳定的输出。模型太复杂是过拟合的重要因素。
过拟合的解决方法是什么?
1、标注不同类型的样本,是样本尽可能的均衡。数据经过清洗之后再进行模型训练,防止噪声数据干扰模型;
2、降低训练模型复杂度。在训练和建立模型的时候,从相对简单的模型开始,不要一开始就把特征做的非常多,模型参数挑的非常复杂;
3、正则化。在模型算法中添加惩罚函数来防止模型出现过拟合问题。常见的有L1,L2,dropout正则化等。而且L1正则化还可以自动进行特征选择;
4、采用bagging(如随机森林等)集成学习来防止过拟合;
5、减少特征个数(不是太推荐,但也是一种方法)。可以使用特征选择,减少特征数或使用较少的特征组合,对于按区间离散化的特征,增大划分的区间;
6、交叉检验。利用交叉检验的方法,来让模型得到充分的训练,以得到较优的模型参数;
7、早停策略。本质上是交叉验证策略,选择合适的训练次数,避免训练的网络过度拟合训练数据;
8、dropout策略。核心思想就是bagging,可以看作是低成本的集成学习。所谓的Dropout指的是在用前向传播算法和反向传播算法训练DNN模型时,一批数据迭代时,随机的从全连接DNN网络中去掉一部分隐藏层的神经元。在对训练集中的一批数据进行训练时,我们随机去掉一部分隐藏层的神经元,并用去掉隐藏层的神经元的网络来拟合我们的一批训练数据。使用基于dropout的正则化比基于bagging的正则化简单,这显而易见,当然天下没有免费的午餐,由于dropout会将原始数据分批迭代,因此原始数据集最好较大,否则模型可能会欠拟合。
欠拟合/高偏差(underfiting/high bias)
欠拟合是什么及检验方法?
问题表现:高偏差
→如果训练集和测试集的误差收敛但是收敛值很高时,即为高偏差;
→虽然训练集和测试集都可以收敛,但是偏差很高,训练集和验证集的准确率都很低,这种现象称为欠拟合;
导致欠拟合的原因是什么?
原因:模型没有充分学习到数据中的特征信息,使得模型无法很好地拟合数据
欠拟合的解决方法是什么?
1、特征工程。添加更多的特征项,eg:特征组合、高次特征等,来增大假设空间;
2、集成学习方法。boosting(如GBDT)能有效解决high bias;
3、提高模型复杂度。当所采用的模型比较简单,不能够应对复杂的任务。可以考虑提升模型复杂度,选用复杂度更好、学习能力更强的模型。比如说可以使用SVM的核函数,增加了模型的复杂度,把低维不可分的数据映射到高位空间,就可以线性可分,减小欠拟合;
4、减小正则化系数。