「深度学习之优化算法」(十二)水波算法

1. 水波算法简介

(以下描述,均不是学术用语,仅供大家快乐的阅读)
  水波算法(Water wave optimization)是根据水波理论提出的优化算法。什么是水波理论?简单来说就是水波的宽度越小,其频率越高,频率与水波宽度的平方根成反比(具体细节我也不懂,物理方面的)。水波算法也算是一种受物理现象(理论)启发而提出的算法,提出时间并不长,还有大量的研究和应用可以深入进行。
  在水波算法中,水波有三种形式来对空间进行搜索。1.传播,2.折射,3.碎浪。传播即水波向周围扩散开来,折射是水波的高度趋近与0时改变了传播的方向(我是真的理解不能,光可以折射,水也能折射的咯?),碎浪即水波的高度较高时,水波破碎形成浪花。可以看出水波的传播是贯穿整个算法流程的,而折射只会发生在水波高度减少至0时,碎浪则发生在水波过高时。
(强行解释最为致命,作者开心就好)。

2. 算法流程

将每一个水波想象成一个独立的个体,那么每个水波将拥有3个属性:位置X,波长 以及波高h。
  在每一次迭代过程中,每个水波都会通过传播的形式来对空间进行搜索同时水波的高度h会减少1。其位置更新公式如下:

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习参数优化算法是为了更有效地训练模型而设计的。其中一种常见的优化算法是自适应学习率优化算法,包括AdaGrad算法、RMSProp算法、Adam算法以及AdaDelta算法。这些算法通过自动适应参数的学习率来提高训练的效果。\[2\]其中,AdaGrad算法通过对每个参数设置不同的学习率来实现自适应学习率的调整。RMSProp算法在Momentum算法的基础上,对参数的梯度采取了加权平方的算法,进一步优化了损失函数在更新过程中的摆动幅度过大的问题。\[3\]这些优化算法的引入可以加快函数的收敛速度,提高深度学习模型的训练效果。 #### 引用[.reference_title] - *1* [一文总结深度学习优化算法](https://blog.csdn.net/algorithmPro/article/details/104322632)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [深度学习入门--参数的优化算法](https://blog.csdn.net/qq_42820853/article/details/110008624)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [深度学习常见的优化算法](https://blog.csdn.net/qq_41296039/article/details/125194889)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值