![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习笔记
文章平均质量分 92
hanjiangxue_wei
这个作者很懒,什么都没留下…
展开
-
深度学习中的优化方法-SGD
码字不易,转载请注明出处~tags: SGD;optimizer;一点想法做了多个分类、检测的算法运用之后,发现对于深度学习中的优化方法仍然云里雾里。现在的开源框架可以非常方便的使用各种现成的库来实现,无论是SGD、Adagrad、Adam等,随便一行代码,传入几个参数就可以完成使用,但究竟这行代码背后是什么原理,反而知之甚少,也心虚不已。原因在于,虽然利用一个什么TF、Tourch等框架,...原创 2019-01-31 11:03:08 · 3651 阅读 · 0 评论 -
深度学习中的优化方法-Momentum and Nesterov Accelerated Gradient
码字不易,转载请注明出处~tags: optimizer; Momentum; Nesterov Accelerated Gradient这篇文章主要介绍动量法以及Nesterov法,来源于:https://medium.com/konvergen/momentum-method-and-nesterov-accelerated-gradient-487ba776c987之所以把这两个内容...原创 2019-01-31 11:12:49 · 943 阅读 · 0 评论 -
深度学习中的优化方法-AdaGrad
码字不易,转载请注明出处~tags: optimizer;AdaGrad本文来源于下面博客:https://medium.com/konvergen/an-introduction-to-adagrad-f130ae871827前面讲到梯度下降法以及带动量的梯度下降法、NAG等,它们的一个共同的特点是都包含学习率η\etaη这个参数,而这个参数的选择属于超参数的范围。个人感觉超参数包含了两...原创 2019-01-31 11:15:09 · 888 阅读 · 0 评论 -
深度学习中的优化方法-Adadelta、RMSProp
码字不易,转载请注明出处~tags: deep learning; optimizesr; Adadelta; RMSPropAdaGrad虽然能够实现学习率的自适应,然而还是由于其本身存在的部分缺点导致使用起来并非很方便,比如学习率衰减比较快等。在凸优化问题中,是可以通过这种快速学习率衰减的方法来尽快达到最优点。然而,对于神经网络或者其它很多非凸问题,这种变化会导致网络在训练的中间就停止了参...原创 2019-01-31 11:22:05 · 1916 阅读 · 0 评论