![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
优化算法
文章平均质量分 94
?ghj
这个作者很懒,什么都没留下…
展开
-
Momentum Rmsprop Adam
SGD存在容易震荡、收敛速度慢等缺点,因此下面介绍几个对SGD进行改进的优化方法。动量基本做法首先计算动量(每一步负梯度的移动指数平均值),然后直接用动量去更新参数。使用移动指数平均而不是其他平均方法,是因为更新参数的时候,希望离当前步越近的梯度的权重越高,越久的梯度的权重越低。作用:(a)SGD在移动的过程中,因为(batch较小带来的)randomness、pathological...原创 2020-05-02 20:59:57 · 1250 阅读 · 0 评论 -
SGD(随机梯度下降)详解
BGD vs SGDBGD vs SGD名词解释功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入BGD vs SGD...原创 2020-05-02 09:00:28 · 71565 阅读 · 2 评论