九、常见激活函数、权重w及初始化、learning rate调节

常见激活函数

初始化

learning rate调节以及early stop

如果深度学习模型不ok，那么将learning rate调小基本上可以让所有模型变化
我们可以设置成learning-rate和loss是一个相关的函数
Loss越小，learning-rate越小(learning rate decay)
当我们发现loss连续k次不下降的时候，我们可以提前停止训练过程，这个方法叫做“early stop”