防止过拟合和欠拟合的方法

防止过拟合

1. Early stop。增加验证集，验证集性能没有明显提升的时候停止。
2. 增大数据集。常见的是增加一些噪声构造新样本，重采样，从源头采集，以及分析数据分布构造更多假数据。
3. 正则化。为了降低模型复杂度，避免过分拟合训练数据，包括噪声和异常点。
4. dropout。随机丢弃一些神经元，避免过度赖某些数据特征。

防止欠拟合

1. 添加其他特征
2. 添加多项式特征组合
3. 减少正则化参数