深度学习500问阅读笔记——如何解决过拟合与欠拟合？

这是深度学习500问系列笔记之一，帮助我深入记忆知识，如有不足，随时欢迎交流和探讨。

8.如何解决过拟合与欠拟合？

如何解决欠拟合：

1）添加其他特征项。组合、泛化、相关性、上下文特征、平台特征等特征是特征添加的重要手段，有时候特征项不够会导致模型欠拟合。

2）添加多项式特征。例如将线性模型添加二次项或三次项使模型泛化能力更强。例如，FM模型、FFM模型，其实就是线性模型，增加了二阶多项式，保证了模型一定的拟合程度。

3）可以增加模型的复杂程度。

4）减小正则化系数。正则化的目的是用来防止过拟合的，但是现在模型出现了欠拟合，则需要减少正则化系数。

如何解决过拟合：

1）重新清洗数据，数据不纯会导致过拟合，此类情况需要重新清洗数据。

2）增加训练样本数量。

3）降低模型复杂程度。

4）增大正则项系数。

5）采用dropout方法，dropout方法，简单讲就是在训练的时候让神经元以一定的概率不工作。

6）early stoping。

7）减少迭代次数。

8）增大学习率。

9）添加噪声数据。

10）树结构中，可以对树进行剪枝。