深度模型中的优化与参数初始化方法

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/h2026966427/article/details/79965236

基本的优化算法

  • Batch GD
  • SGD
  • SGD with 动量
  • SGD with Nesterov动量

自适应学习率算法

  • AdaGrad
  • RMSProp
  • RMSProp with Nesterov
  • Adam: Adaptive Moments

比较与选择

它们之间的关系如下:

1

对于如何选择没有达成共识,但结果表明具有自适应学习率的算法族表现得相当鲁邦,不分伯仲。目前,最流行且使用很高的优化算包括SGD、具动量的SGD、RMSProp、具有动量的RMSProp、AdaDelta和Adam。对哪个熟悉用哪个以便调节超参数。

参数初始化方法

1

Xavier初始化方法用的比较多。

没有更多推荐了,返回首页

私密
私密原因:
请选择设置私密原因
  • 广告
  • 抄袭
  • 版权
  • 政治
  • 色情
  • 无意义
  • 其他
其他原因:
120
出错啦
系统繁忙,请稍后再试

关闭