- 博客(1)
- 资源 (3)
- 收藏
- 关注
转载 转载:常用激活函数(激励函数)理解与总结
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 关于ReLU死亡的解释:设学习速率为r, ReLU的梯度为d(ReLU(wx+b)),那么权重更新公式为:w = w - rd(ReLU(wx+b)); 如果d(ReLU(wx+b))为1,那么权重更新公式变成了:w = w - r;如果学习率 r 较大使更新后的值w为较大的负值,那么很可能在...
2019-11-15 11:10:05 216
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人