李宏毅-ML Tips for Deep Learning(深度学习的技巧)
Tips for Deep Learning
当测试集上的效果不好时需要查看训练集上的错误率,有时候可能时因为训练集上就没有训练起来;
使用dropout相当于集成
不同的激活函数对训练结果的影响很大,通过数学推导的角度分析,例如sigmoid激活函数会导致前面层的参数到后面逐渐被削弱;
层数越多并不一定效果越好
梯度消失现象
有些神经元经过relu激活函数后会导致结果为0,所以使...
原创
2019-03-30 11:37:54 ·
238 阅读 ·
0 评论