deep leaning basic
XHPlus+
这个作者很懒,什么都没留下…
展开
-
soft argmax使argmax变为可导
https://bouthilx.wordpress.com/2013/04/21/a-soft-argmax/转载 2018-03-04 01:00:12 · 5322 阅读 · 0 评论 -
SGD/Momentum/Nesterov
今天看pytorch的SGD发现了关于SGD的三种扩展,分别是SGD, Momentum, Nesterov下面整理一下三个的原理和区别:SGDStochastic Gradient Descentparam -= lr * gradientMomentum由于采用SGD时,使用mini-batch会使得计算的梯度有较大波动. Momentum的引入可以缓解这个问题,并且加速收...原创 2018-10-20 22:20:09 · 2891 阅读 · 0 评论