李宏毅机器学习10—Tips for training DNN1（第二周）

DNN的步骤：

第一步：定义函数集

第二步：评估函数的好坏、

第三步：选取最好的函数

当训练结果表现差时，修改上面三步

当训练结果表现好的，再看测试结果的表现，表现好就成功了，表现差就是过拟合。

如果训练结果本身就差，测试结果也差时，并不是过拟合。

 

一、对于训练数据上的表现比较差时：

1.需要新的激活函数:也就是说训练数据时函数出现了问题

2.梯度消失问题：

梯度消失：

前提：神经网络的层数过多

表现：当靠近输入层时，参数对loss函数的微分很小：靠近输出层时，微分很大。在设定相同的学习率时，靠近输入层的参数更新很慢，靠近输出层时，参数更新很快。这样，当输入处于随机时，输出就已经收敛了。