深度模型中的优化与参数初始化方法

基本的优化算法

  • Batch GD
  • SGD
  • SGD with 动量
  • SGD with Nesterov动量

自适应学习率算法

  • AdaGrad
  • RMSProp
  • RMSProp with Nesterov
  • Adam: Adaptive Moments

比较与选择

它们之间的关系如下:

1

对于如何选择没有达成共识,但结果表明具有自适应学习率的算法族表现得相当鲁邦,不分伯仲。目前,最流行且使用很高的优化算包括SGD、具动量的SGD、RMSProp、具有动量的RMSProp、AdaDelta和Adam。对哪个熟悉用哪个以便调节超参数。

参数初始化方法

1

Xavier初始化方法用的比较多。

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/h2026966427/article/details/79965236
个人分类: 深度学习
上一篇深度学习中的正则化
下一篇数据挖掘竞赛中常用的ML
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭