模型过拟合与欠拟合

模型过拟合与欠拟合

欠拟合：训练数据、预测数据效果都不好
过拟合：训练数据效果很好，预测数据效果不好

欠拟合可通过观察训练数据的预测结果发现，解决办法：选用其他模型，增加模型复杂度，增加数据样本，采集新的维度数据。

过拟合的原因：
1.使用了过于复杂的模型结构，如高阶决策边界
2.训练数据不足，有限的训练数据，数据不具有代表性，数据只是样本的一小部分
3.样本里噪音数据干扰过大，模型学习到噪音信息，使用过多与结果不相关的属性信息
欠拟合的原因：
1.模型容量有限（模型复杂度太低）
2.数据样本空间不足（数据量不足？）
3.训练不充分（网络搭建是否合理？激活函数选择是否恰当？）

模型过拟合的解决办法
1.简化模型结构，降低模型复杂度
2.数据增强，扩充样本数据(平移、翻转、旋转、镜像…)
3.数据预处理，保留主成分信息，（pca处理）
4.增加正则化项（regularization）（模型求解的核心是最小化损失函数，在损失函数中增加额外项，实现对求解参数的数值约束，防止过拟合）