【物理/数学】—— 概念的理解 moment、momentum

moment:矩,momentum:[物] 动量;动力;冲力;

数学意义上的 moment(矩)概念其实源自于物理范畴。首先我们来介绍物理学意义上的矩(Momentum)的概念。

1. 物理学意义上的矩

μn=rnQ

矩,最简单基础的形式定义为,到某点的距离 r ,其某次方 n(表 n 阶矩),再乘以该点某一物理量(Q,力,电荷等)的大小。当然如果该点的此物理量不集中于一点的话,此时的计算又变为:

μn=rnρ(r)dr

ρ 表示密度分布(质量,电荷等)。

2. 数学意义上的矩

应用在力学以及统计学上的矩,是对一系列“点的形状”的度量。这里的“点”,一般分为如下含义:

  • 质量(mass):
    • 0 阶矩:是总质量;
    • 1 阶矩除以总质量是质心(质量中心);
    • 2 阶矩是惯性矩(moment of inertia)
  • 概率密度(probability density):

    μn=xnf(x)dx

    • 0 阶矩:总概率,也就是 1;
    • 1 阶矩:均值,
    • 2 阶中心矩( (xμ)2f(x)dx ):方差;
    • 3 阶中心矩( (xμ)3f(x)dx ):偏度(skewness)
    • 4 阶中心矩(归一化和平移):峰态(kurtosis)
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
深度学习中的优化方法是指在训练神经网络时,通过更新模型参数来最小化损失函数的过程中所采用的算法。常用的优化方法包括:momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam等。 1. Momentum Momentum是一种基于梯度下降的优化方法,它通过引入动量来加速收敛。在更新模型参数时,不仅考虑当前的梯度,还考虑之前的梯度对更新方向的影响,通过累积之前的梯度,使得更新方向更加稳定,加速收敛。 2. Nesterov Momentum Nesterov MomentumMomentum的一种变体,它在更新模型参数之前,先向前“看一步”,计算模型参数在当前动量下的移动方向,然后再计算当前位置的梯度,最后根据这两个信息来更新模型参数。相比于Momentum,Nesterov Momentum能够更快地收敛。 3. AdaGrad AdaGrad是一种自适应学习率的优化方法,它通过动态地调整学习率来适应不同参数的更新需求。具体地说,它将学习率分别应用于每个参数的更新量上,使得每个参数的学习率随着训练的进行不断减小,从而减少参数更新的震荡。 4. Adadelta Adadelta也是一种自适应学习率的优化方法,它和AdaGrad不同之处在于,它不仅考虑了过去的梯度信息,还考虑了过去的参数更新信息。具体地说,它通过维护一个累积梯度平方的指数衰减平均值和一个累积参数更新平方的指数衰减平均值,来动态调整学习率和更新量,使得参数更新更加平稳。 5. RMSprop RMSprop也是一种自适应学习率的优化方法,它和Adadelta类似,但只考虑了过去的梯度信息,没有考虑过去的参数更新信息。具体地说,它通过维护一个梯度平方的指数衰减平均值来动态调整学习率,使得参数更新更加平稳。 6. Adam Adam是一种结合了Momentum和RMSprop的优化方法,它不仅考虑了梯度的一阶和二阶信息,还引入了偏置修正,使得参数更新更加准确。相比于其他优化方法,Adam不仅收敛速度快,还具有较好的性能表现。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五道口纳什

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值