对过拟合和欠拟合问题的处理

过拟合问题处理

[1]早停策略，参考：Coursera Deep Learning Specialization 02.改善深层神经网络：超参数调试、正则化以及优化 1.第一周 深度学习的实用层面 1.8 其他正则化方法
[2]集成学习策略。用bagging的思路进行正则化，对原始的m个训练样本进行又放回的随机采样，从而可以可以使用有放回的方式构建N组m个样本（里面可以重复）数据集，然后让这N组数据去训练DNN，这样可以DNN往一个样本模式过度拟合，而能学习综合的样本特征，但是这样的方式会导致数据量增加，训练更耗时。
[3]Dropout策略。方法是在前后向传播算法每次迭代时随机隐藏一部分神经元不参与计算，并使用这些隐藏一部分数据后的网络去拟合一批数据，通过这种随机隐藏，来提升拟合限度，防止生成太拟合数据的函数式，但是这样方式需要有大量数据集来喂养，否则会导致欠拟合。
[4]正则化方法
[5]增加数据量
[6]对现有数据进行数据增强

欠拟合问题处理

[1]增加迭代次数，使用更多的数据喂养模型，使得模型有更强的拟合能力。
[2]增加网络的深度和广度，增大神经网络的’容量’，使得模型有更好的空间表示能力。