过拟合与欠拟合

##过拟合与欠拟合

1. 过拟合
   模型在训练集上的表现好，但是在测试集和新数据上的表现较差。
   降低过拟合的方法：
   1）获取和使用更多数据（数据增强）----根本性方法
   2）采用合适的模型（控制模型复杂度）
   a. 减少网络层数和神经元个数
   b. 树模型进行剪枝，降低其深度
   3）降低特征数量（删除冗余特征）
   4）正则化（L1/L2正则）
   5）Dropout
   6）采用Early stopping或知识蒸馏方式训练模型

2. 欠拟合
   模型在训练和预测时表现都不好。
   降低欠拟合的方法：
   1）增加特征
   a. 上下文特征
   b. ID类特征
   c. 组合特征等
   2）增加网络复杂度
   a. 在线性模型中添加高次项
   b. 增加网络层数或神经元个数
   3）减少正则项系数