过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

一，过拟合、欠拟合及其解决方案

过拟合：模型的训练误差远小于它在测试数据集上的误差

欠拟合：模型无法得到较低的训练误差

因素：模型复杂度和训练数据集大小

训练集数据太少，会引起过拟合，模型越越简单，会引起欠拟合。折中办法是在保证能够训练的情况下，模型尽量复杂，数据量也随之增多

机器学习中遇到的方法：

• 正则化：在loss函数中加入，w^2项来强行训练减少loss，在训练的时候限制权值变大。训练过程需要降低整体的 loss，这时候，一方面能降低实际输出与样本之间的误差，也能降低权值大小
• dropout：解决网络各层输出对该层的网络结构的依赖性(虽然我不知道什么叫做依赖性)，每次训练的时候，随机挑选几个神经元，作为改层的总神经元，
• 数据扩增，即增加训练数据样本：解决过拟合最有效的方法，只要给足够多的数据，让模型看见尽可能多的例外情况，它就会不断修正自己，从而得到更好的结果
• Early stopping：是一种迭代次数截断的方法来防止过拟合的方法，即在模型对训练数据集迭代收敛之前停止迭代来防止过拟合

参考链接   https://www.cnblogs.com/zhh