动手学深度学习task3

过拟合、欠拟合及其解决方案

欠拟合解决方案：

添加其它的特征项
添加多项式特征
减少正则化参数

过拟合解决方案：

增加训练样本
权值衰减
dropout

梯度消失、梯度爆炸

梯度爆炸

如果在连续乘法中出现一个非常大的值，计算出一个很大的梯度值，如果以这个梯度值进行更新，那么这次迭代的步长就很大，可能会一下子飞出了合理的区域。
可以通过梯度裁剪的方法解决。

梯度消失

如果连续乘法中出现一个较小的值，计算梯度趋近0，则梯度消失。
梯度消失可以换用Relu、LeakyRelu、Elu等激活函数。

循环神经网络