机器学习
文章平均质量分 82
Teng1996
这个作者很懒,什么都没留下…
展开
-
深度学习参数更新
几种常见的参数更新方式 1) SGD x += - learning_rate * dx 2) Momentum update # Momentum update v = mu * v - learning_rate * dx # integrate velocity x += v # integrate position 3) Nesterov Momentum v_prev = v # ...原创 2019-05-19 13:39:05 · 1250 阅读 · 0 评论 -
激活函数
1)sigmoid sigmoid的俩个问题: 1.梯度消失。 如上图所示,饱和的神经元会kill 梯度。 当x取值为-10和10的时候,σ(x)\sigma(x)σ(x)对x的导数几乎为0。所以此局部梯度变成了0,不管上游梯度为多少,再利用链式法则求导时,会将损失函数对x的偏度置为0。所以梯度无法继续传递。造成无法进行梯度更新。 如上图所示,当该神经元达到饱和时(即,经过一定时间训练,输入...原创 2019-05-14 19:50:12 · 254 阅读 · 0 评论