优化器
kendyChina
这个作者很懒,什么都没留下…
展开
-
基于Pytorch源码对Adagrad、Adadelta、RMSProp、Adam等自适应学习率进行学习
公式是实现的原理,而源码才是让想法落地的媒介。希望能透过源代码,对原理有更具体的理解,回顾公式,也会有更深入的感受。前期基于Pytorch的源码,对SGD进行了学习:基于torch.optim.sgd.py源码对SGD、momentum、Nesterov学习本文会基于Pytorch源码,对Adagrad进行学习。Adagrad在SGD的年代,我们只能通过学习率(learning rate)来宏观控制网络的参数的学习速度,这从直观上是不太细致的。随着人脑突触的实验进展,发现人脑神经元是有一定稀疏性的原创 2020-06-16 22:03:34 · 990 阅读 · 0 评论 -
基于Pytorch源码对SGD、momentum、Nesterov学习
目前神经网络的监督学习过程通常为:数据加载(load)进神经网络经过网络参数对数据的计算,得出预测值(predict)根据预测值与标注值(label)之间的差距,产生损失(loss)通过反向传播(BP:Back Propagation)对神经网络的各个参数产生梯度(gradient)依据特定的梯度下降算法(如SGD:Stochastic Gradient Descent随机梯度下降),基于梯度对参数进行更新前五步重复,直到网络参数收敛(convergence)本文主要想基于Pytorch的原创 2020-06-14 22:34:48 · 4982 阅读 · 1 评论