深度学习笔记(2)：2.3|2.4 指数加权平均及理解 | 2.5 指数加权平均的偏差修正

最新推荐文章于 2023-08-17 14:50:15 发布
最新推荐文章于 2023-08-17 14:50:15 发布
阅读量2.5k 收藏 7
点赞数 1
分类专栏： 深度学习 文章标签： 指数加权平均 偏差修正
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kkkkkiko/article/details/81347697
版权
本文介绍了指数加权平均的概念及其在深度学习优化中的应用。通过实例解释了指数加权平均如何根据不同的参数值（如衰减率）影响拟合曲线的平滑度，并探讨了在实际问题中如何选择合适的参数。此外，还讨论了指数加权平均的偏差修正，以提高平均数计算的准确性。
摘要由CSDN通过智能技术生成

接下来介绍一些比梯度下降法计算速度更快的优化算法。

2.3  指数加权平均

为了更好地介绍这些优化算法，这里先介绍一个概念----指数加权平均(exponentially weighted averages)，全称为指数加权移动平均(exponentially weighted moving averages)。

下图展示的是伦敦一年温度的例子，散点图如下图所示。

对该数据拟合曲线，假设V0=0，而估计每一天的温度(Vt)等于前一天的温度(Vt-1)和当天温度(\theta_{t})的加权平均，为什么说是指数加权平均呢？这是因为通过展开，把每一项都用V0和实际温度表示，会发现V_{t}=\beta ^{t}V_{0}+(1-\beta )\beta ^{t-1}\theta _{1}+(1-\beta )\beta ^{t-2}\theta _{2}+...+\theta _{t}，上例中\beta=0.9，再加上初始值为0的假设，则第t天的温度就是前t天真实温度的指数加权平均。根据这个方法，拟合出来的曲线如图中红线所示。

其实，V_{t}近似等于前\frac{1}{1-\beta }天真实温度的平均值，比如在上例中，

最低0.47元/天 解锁文章
起个名字好难.JPG
关注
专栏目录
如何选择深度强化学习算法：MuZero/SAC/PPO/TD3/DDPG/DQN/等算法
丨汀、的博客
07-14 3046
如何选择深度强化学习算法：MuZero/SAC/PPO/TD3/DDPG/DQN/等算法
吴恩达深度学习课程笔记（二）：改善深层神经网络
cluster1893的博客
07-17 1167
吴恩达：神经网络与深度学习(2) 吴恩达：神经网络与深度学习(2) 第一周 深度学习的实用层面 1.1 训练 / 开发 / 测试集 1.2 偏差 / 方差 1.3 机器学习基础 1.4 正则化 1.5 为什么正则化可以减少过拟合？ 1.6 Dropout 正则化 1.7 理解 Dropout 1.8 其他正则化方法 1.9 正则化输入 1.10 梯度消失与梯度爆炸 1.11 神经网络的权重初...
指数加权平均
m0_37390405的博客
01-26 2282
1. 计算方法 对一个序列 θ1,θ2,θ3...θn" role="presentation">θ1,θ2,θ3...θnθ1,θ2,θ3...θn \theta_1,\theta_2,\theta_3 ... \theta_n ,引入参数 β" role="presentation">ββ\beta ，使用如下方法可以计
[DeeplearningAI笔记]第二章2.3-2.5带修正偏差的指数加权平均
遗世独立的乌托邦
10-24 1450
Optimization Algorithms优化算法 觉得有用的话,欢迎一起讨论相互学习~Follow Me 2.3 指数加权平均 举个例子,对于图中英国的温度数据计算移动平均值或者说是移动平均值(Moving average). 大体公式就是前一日的V值加上当日温度的0.1倍,如果用红线表示这个计算数值的话就可以得到每日温度的指数加权平均值. Vt=βVt−1+(1−...
神经网络基础-神经网络补充概念-46-指数加权平均的偏差修正
最新发布
CSDNXXCQ的博客
08-17 507
指数加权平均（Exponential Moving Average，EMA）在初始时可能会受到偏差的影响，特别是在数据量较小时，EMA的值可能会与实际数据有较大的偏差。为了修正这种偏差，可以使用偏差修正方法，通常会将EMA的初始值初始化为第一个数据点，然后逐步修正。其中，t 表示当前时刻，x(t) 表示当前时刻的数据点，α 是平滑因子。在这个偏差修正版本的EMA中，当t=0时，直接将EMA初始化为第一个数据点。
Coursera | Andrew Ng (02-week-2-2.5)— 指数加权平均的偏差修正
Self Improvement Lab
01-19 1274
该系列仅在原课程基础上部分知识点添加个人学习笔记，或相关推导补充等。如有错误，还请批评指教。在学习了 Andrew Ng 课程的基础上，为了更方便的查阅复习，将其整理成文字。因本人一直在学习英语，所以该系列以英文为主，同时也建议读者以英文为主，中文辅助，以便后期进阶时，为学习相关领域的学术论文做铺垫。- ZJ Coursera 课程 |deeplearning.ai |网易云课堂
2-4 指数加权平均的偏差修正
diyudong4681的博客
09-15 336
指数加权平均的偏差修正（ Bias correction in exponentially weighted averages） 实际上$\beta {\rm{ = }}0.98$时，图中所示的划线并不是绿色的线，而是下图紫色的线条： 可以注意到紫色曲线的起点较低。 计算移动平均数的时候，初始化${v_0} = 0$，${v_1} = 0.98{v_0} + 0.02{\the...
吴恩达深度学习教程——中文笔记网上资料整理
Superstar02的博客
09-27 1101
深度学习笔记目录 课程地址：https://mooc.study.163.com/university/deeplearning_ai#/c 专栏： https://blog.csdn.net/shikong_/article/category/7288516 https://blog.csdn.net/zc...
吴恩达Coursera深度学习课程 deeplearning.ai (2-2) 优化算法--课程笔记
浩宇天罡
06-23 584
2.1 Mini-batch 梯度下降法 原因: 大数据集时，执行一次循环时间很长，梯度下降很慢； mini-batch 是指将大数据集 n分成一系列小数据集m，每计算一个小数据集就执行一次梯度下降，这样一次大数据集的计算可以下降n/m 次，从而增加梯度下降的速度。 执行一次小数据集为一次 mini-batch 执行一次大数据集为一次 epoch mini-batch 使用上角标{i}...
什么是指数加权平均、偏差修正？
weixin_34309543的博客
03-11 789
指数加权平均 在深度学习优化算法中，例如Momentum、RMSprop、Adam，都提到了一个概念，指数加权平均，看了Andrew Ng的深度学习课程后，总结一下什么是指数加权平均。 式中v_t可近似代表1/(1-β)个θ的平均值。 偏差修正 由以上证明可以看出，每个最新数据值，依赖于...
2.5 指数加权平均的偏差修正
布纸所云
08-31 771
In a previous video, you saw this figure for beta = 0.9. This figure for beta = 0.98. But it turns out that if you implement the formula as written here, you won’t actually get the green curve when,...
2.5 指数加权平均的偏差修正-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
赵继超的笔记
04-10 3612
指数加权平均的偏差修正 (Bias Correction in Exponentially Weighted Average) 你学过了如何计算指数加权平均数，有一个技术名词叫做偏差修正，可以让平均数运算更加准确，来看看它是怎么运行的。 vt=βvt−1+(1−β)θtv_t=\beta v_{t-1}+(1-\beta)\theta_tvt​=βvt−1​+(1−β)θt​ 在上一个视频中，这...
深度学习： 指数加权平均
沐阳的博客
04-03 2327
1. 指数加权平均 指数加权平均是深度学习众多优化算法的理论基础，包括Momentum、RMSprop、Adam等，在介绍这些优化算法前，有必要对指数加权平均(exponentially weighted averages)做一个简单的介绍，以期对后续的优化算法的原理有所知晓。 何为指数加权平均那？ 现在想求一段时间内的平均温度，给定一段时间的温度序列，加和平均结果为，每天温度的权重都是相同的。进一步，若要根据平均气温预测明天的温度，显然昨天的温度应该较30...
【深度学习基础】指数加权平均
qq_43491212的博客
05-29 593
在深度学习中，指数加权平均不仅体现在优化器中，还会使用在模型更新中，会定义两个相同的模型，一个用于训练，一个用于保存采用EMA更新的参数，一定程度上增加了模型的鲁棒性。
深度学习入门笔记手稿（十）理解指数加权平均
WYR_try的博客
05-15 336
深度学习入门笔记手稿（十）理解指数加权平均理解指数加权平均 理解指数加权平均
移动指数加权平均与修正
suixuejie的博客
07-09 1960
转载：博客园：https://www.cnblogs.com/cloud-ken/p/7723755.html 指数加权平均 举个例子,对于图中英国的温度数据计算移动平均值或者说是移动平均值(Moving average). 大体公式就是前一日的V值加上当日温度的0.1倍,如果用红线表示这个计算数值的话就可以得到每日温度的指数加权平均值. ...
深度学习笔记2：过拟合欠拟合、GRU/LSTM与Transformer详解
在《动手学深度学习》的第二篇笔记中，作者深入探讨了深度学习中的关键概念和技术。首先，笔记涉及了模型训练中的核心问题——过拟合与欠拟合。过拟合是指模型在训练集上表现优秀，但在新数据上泛化能力较差，其原因...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值