##过拟合与欠拟合
-
过拟合
模型在训练集上的表现好,但是在测试集和新数据上的表现较差。
降低过拟合的方法:
1)获取和使用更多数据(数据增强)----根本性方法
2)采用合适的模型(控制模型复杂度)
a. 减少网络层数和神经元个数
b. 树模型进行剪枝,降低其深度
3)降低特征数量(删除冗余特征)
4)正则化(L1/L2正则)
5)Dropout
6)采用Early stopping或知识蒸馏方式训练模型 -
欠拟合
模型在训练和预测时表现都不好。
降低欠拟合的方法:
1)增加特征
a. 上下文特征
b. ID类特征
c. 组合特征等
2)增加网络复杂度
a. 在线性模型中添加高次项
b. 增加网络层数或神经元个数
3)减少正则项系数