![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
吴恩达
Qidian213
麦田守望者
展开
-
优化算法:指数加权平均
在学习吴恩达的深度学习系列课程,优化算法部分,权重更新部分讲到指数加权平均,查找到下面博文。此博文看配图,举例,也是吴恩达课程的总结,故此转载。原作:cloud&ken发表于:博客园链接:https://www.cnblogs.com/cloud-ken/p/7723755.html 指数加权平均举个例子,对于图中英国的温度数据计算移动平均值或者说是移动平均值(Moving average...转载 2018-02-17 11:19:27 · 10610 阅读 · 2 评论 -
优化算法:动量梯度下降+RMSprop+Adam算法+学习率衰减
原作:cloud&ken发表于:博客园链接:http://www.cnblogs.com/cloud-ken/p/7728427.html 动量梯度下降法(Momentum)另一种成本函数优化算法,优化速度一般快于标准的梯度下降算法.基本思想:计算梯度的指数加权平均数并利用该梯度更新你的权重假设图中是你的成本函数,你需要优化你的成本函数函数形象如图所示.其中红点所示就是你的最低点.使用常规...转载 2018-02-17 12:18:21 · 9683 阅读 · 0 评论