深度模型中的优化与参数初始化方法

原创 2018年04月16日 20:02:00

基本的优化算法

  • Batch GD
  • SGD
  • SGD with 动量
  • SGD with Nesterov动量

自适应学习率算法

  • AdaGrad
  • RMSProp
  • RMSProp with Nesterov
  • Adam: Adaptive Moments

比较与选择

它们之间的关系如下:

1

对于如何选择没有达成共识,但结果表明具有自适应学习率的算法族表现得相当鲁邦,不分伯仲。目前,最流行且使用很高的优化算包括SGD、具动量的SGD、RMSProp、具有动量的RMSProp、AdaDelta和Adam。对哪个熟悉用哪个以便调节超参数。

参数初始化方法

1

Xavier初始化方法用的比较多。

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/h2026966427/article/details/79965236

深度学习(Deep Learning)读书思考四:模型训练优化

概述 机器学习应用包括模型构建、求解和评估,对于深度模型而言也是类似,根据之前的介绍可以构建自己的深度神经网络结构。相对于一般的优化问题,深度模型更难优化,本节主要介绍深度学习模型优化挑战、优化算法...
  • fangqingan_java
  • fangqingan_java
  • 2016-11-20 11:27:29
  • 3861

深度模型中的优化算法

某猪场的笔试题问到了深度学习中的优化算法,由于准备不足扑街了,后来补了一下这方面的知识,整理如下:基本算法随机梯度下降(SGD)实践中,一般会线性衰减学习率直到第τ\tau次迭代:ϵk=(1−α)ϵ0...
  • justpsss
  • justpsss
  • 2017-08-29 16:59:11
  • 373

深度学习总结(一)——参数初始化

1. 参数初始化的目的是什么?为了让神经网络在训练过程中学习到有用的信息,这意味着参数梯度不应该为0。而我们知道在全连接的神经网络中,参数梯度和反向传播得到的状态梯度以及入激活值有关。那么参数初始化应...
  • manong_wxd
  • manong_wxd
  • 2017-12-06 20:21:43
  • 803

Deep Learning读书笔记4---深度模型中的优化

1. 最小化经验风险利用训练集上的经验分布,p^(x,y)\hat{p}(x,y)替代真实分布p(x,y)p(x,y)。 现在,我们将最小化经验风险: 其中mm表示训练样本的数目。2.小批量算...
  • u012554092
  • u012554092
  • 2017-09-21 11:38:07
  • 1263

深度学习之参数初始化策略

本文介绍了深度学习中参数的初始化对训练的影响以及常用参数初始化策略,标准初始化,Xavier初始化,He初始化。...
  • u012151283
  • u012151283
  • 2017-10-13 22:09:43
  • 504

深度学习初始化方法

“Xavier”初始化方法是一种很有效的神经网络初始化方法,方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforw...
  • u014696921
  • u014696921
  • 2016-12-22 20:10:04
  • 1982

深度学习中文版

  • 2018年01月25日 13:05
  • 1.92MB
  • 下载

常见深度学习模型参数总结

一、VGG-16 二、SqueezeNet 三、ZF-Net 四、AlexNet
  • yanxiaopan
  • yanxiaopan
  • 2017-11-07 20:59:26
  • 245

深度学习之参数初始化(二)——Kaiming初始化

  • VictoriaW
  • VictoriaW
  • 2017-06-13 11:36:34
  • 1558
收藏助手
不良信息举报
您举报文章:深度模型中的优化与参数初始化方法
举报原因:
原因补充:

(最多只允许输入30个字)