欠拟合与过拟合
欠拟合
一个假设在训练数据上不能获得很好的拟合,但是在训练数据外 的数据集上也不能很好地拟合数据,此时认为这个假设出现了欠拟合的现象。(模型过于简单)
分析:
欠拟合
原因:学习到数据的特征过少。
解决办法:增加数据的特征数量。
过拟合
一个假设在训练集上能够获得比其他假设更好的拟合,但是在这个训练数据外的数据集上却不能很好地拟合数据,此时认为这个假设出现了过拟合的现象(模型过于复杂)
分析:
过拟合:
原因:原始特征过多,存在一些嘈杂特征,模型过于复杂是因为模型尝试去兼顾各个测试数据点。
解决办法:
进行特征选泽。消除关联性大的特征(很难做)。交叉验证(让所有数据都有过训练)。正则化。
过拟合与欠拟合关系
对线性模型进行训练学习会变成复杂模型
模型复杂的原因:数据的特征和目标值之间的盥洗不仅仅是线性关系。