「深度学习之优化算法」(十)烟花算法

1. 烟花算法简介

(以下描述,均不是学术用语,仅供大家快乐的阅读)
  烟花算法(Firework Algorithm,FWA)是一种受烟花爆炸产生火星,并继续分裂爆炸这一过程启发而得出的算法。算法的思想简单,但具体实现复杂。算法提出时间并不长,但是已经有了不少的改进研究和较为全面的应用。
  烟花算法中,每一个烟花的位置都代表了一个可行解。烟花的爆炸产生的火星有两种,正常的火星与特别的火星。每个火星都会爆炸产生数个正常火星,某些火星有一定的概率产生一个特别的火星。正常的火星根据当前火星的振幅随机均匀分布在该火星的周围,而特别的火星将在当前火星附近以正态分布方式产生。每次迭代产生的火星数量多于每一代应有的火星数,算法将参照火星位置的优劣,随机留下指定数量的火星,已保持火星数目的稳定。

2. 算法流程

烟花算法的主角毫无疑问就是烟花了。


  烟花算法中每个火星有两个属性:位置以及振幅,振幅与所有火星的亮度值有关,亮度越高的火星的振幅越小,反之振幅越大。(这里亮度表示火星的适应度值,越亮表示这个位置的氧气浓度越高,适应度越好)
  一句话总结烟花算法:较差位置大范围少量搜索,较好位置小范围大量搜索,不从众
  在D维解空间内每个火星的位置为

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习参数优化算法是为了更有效地训练模型而设计的。其中一种常见的优化算法是自适应学习率优化算法,包括AdaGrad算法、RMSProp算法、Adam算法以及AdaDelta算法。这些算法通过自动适应参数的学习率来提高训练的效果。\[2\]其中,AdaGrad算法通过对每个参数设置不同的学习率来实现自适应学习率的调整。RMSProp算法在Momentum算法的基础上,对参数的梯度采取了加权平方的算法,进一步优化了损失函数在更新过程中的摆动幅度过大的问题。\[3\]这些优化算法的引入可以加快函数的收敛速度,提高深度学习模型的训练效果。 #### 引用[.reference_title] - *1* [一文总结深度学习的优化算法](https://blog.csdn.net/algorithmPro/article/details/104322632)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [深度学习入门--参数的优化算法](https://blog.csdn.net/qq_42820853/article/details/110008624)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [深度学习常见的优化算法](https://blog.csdn.net/qq_41296039/article/details/125194889)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值