sfejojno的博客

海鸥是自然界中最常见的一类海鸟，主要以群居的生存方式遍布在各大海港、湖泊、河流地区。它们拥有较高的群集智慧，每到冬季，便成群结队地迁徙至资源丰盛的低空水域，进行生殖繁衍。印度学者 Gaurav Dhiman[1]对此行为进行了深入研究，于 2019 年在KBS上发表了一种新型群智能算法，海鸥优化算法(Seagull Optimization Algorithm，SOA)海鸥优化算法通过模仿自然界海鸥的迁徙和攻击行为以用于优化问题。

无人机(Unmanned Aerial Vehicle，UAV) 是一种无需机载驾驶员的半自主飞行器，由于其灵活度高、机动性强等特点，目前已广泛应用于民用和军用领域，如救援、农业、输电线路巡检等。但在实际应用中，单个UAV难以应对任务点分散、耗时长、或者在每个任务点的不一致的需求。无人机机群由于具有较好的鲁棒性和较低的成本，常被用来通过协作来解决该问题。在无人机群协作中，路径规划是最关键的问题之一。

本文KAU将介绍相当流行的DE变体——基于成功历史记忆的适应性差分进化算法(Success-History based Adaptive Differential Evolutionz，SHADE)。该算法是JADE的增强版本，由Tanabe 和 Fukunaga于2013年提出[1]，大大提升了算法效率，并且其在CEC2013竞赛中排名第三。本文中，KAU将介绍SAHDE算法的原理，并给出其MATLAB和Python的实现。

差分进化算法(Differential Evolution, DE)[1]作为进化算法中的一个重要分支，是R.Stom和K.Price于1995年提出，在1996年首届ICEC竞赛上就获得第三名的成绩，具有实现简单、理解容易收敛速度快等优点。但DE对控制参数(CR和F)依赖性强，同时其变异策略对算法收敛性能影响大，面对复杂函数存在陷入局部最优的问题。因此，众多DE变体被提出，DE算法已经发展成为进化计算领域中具有极强竞争力和生命力的优化算法之一。

东华大学沈波教授团队在2022年提出蜣螂优化算法 (Dung Beetle Optimizer，DBO) [1]，该算法与PSO、GWO、WOA、SSA、SCA、MVO、HHO相比均显示出一定然而，它有其他SI算法存在的问题，如全局探索和局部开发能力不平衡、面对复杂问题的易陷入局部最优等，其收敛速度和精度仍有改进的可能。因此针对DBO存在的问题，KAU将对DBO进行改进。

本文KAU将介绍一个2020年发表在1区期刊ESWA上的优化算法——海洋捕食者算法 (Marine Predators Algorithm，MPA)[1]该算法由Faramarzi等于2020年提出，其灵感来源于海洋捕食者之间不同的觅食策略、最佳相遇概率策略、海洋记忆存储与海洋漩涡以及鱼类聚集效应影响。算法性能上，在通风和建筑能源性能领域的29个测试函数、CEC2017及3个工程基准和2个工程实际问题等上进行评估，对比算法包含3类：(1)GA、PSO-研究最充分的启发式算法；

MATLABPYTHON目前，元启发式算法按其灵感来源可以分为：（i）群体启发，如粒子群PSO和灰狼优化算法GWO等；（ii）进化启发，如遗传算法GA和差分进化算法DE等；（iii）物理启发，如开普勒优化算法KOA和瞬态优化算法TSO等；（iv）人类启发，如人类行为优化算法HBBO和徒步旅行优化算法HOA等。

蜣螂优化算法(Dung Beetle Optimizer，DBO)是JiankaXue和Bo Shen在2022 年提出的一种新型群体智能优化算法[1]，其灵感来自于蜣螂的滚球、跳舞、觅食、偷窃和繁殖行为。该算法同时考虑了全局探索和局部开发，从而具有收敛速度快和准确率高的特点，可以有效地解决复杂的寻优问题。

天鹰优化算法(Aquila Optimizer，AO)是Abualigah等[1]于2021年发表在SCI二区Computers & Industrial Engineering的元启发式优化算法。该算法通过模拟天鹰对不同猎物的不同捕获方法建立数学模型，具有收敛速度快、全局搜索能力强的优点，目前在谷歌学术上引用量达1500+​本文KAU将介绍其原理，并分享其MATLAB/Python的实现。

由于在工程实践和科学研究中，很多问题都是由多个相互影响、相互冲突的目标构成，而进化算法在解决这些多目标优化问题上具有独特优势，因此获得了广泛的研究。其中，NSGA-II是较为经典的多目标进化算法，其具有鲁棒性好、搜索性能高的特点；而MOPSO算法作为新型的进化范例，具有收敛速度快、收敛精度高、搜索效率高的特点。两种算法具有不同的开发和探索过程，因此为充分利用两种经典算法的特点，本文提出一种双种群协同进化的混合改进NSGA-II和MOPSO的多目标算法。

人工蜂群算法（Artificial Bee Colony，ABC）是由土耳其学者Karaboga[1]于2005年提出，它是模拟蜜蜂的采蜜行为来解决生活中一些多维和多模的优化问题，目前在谷歌学术上的引用量9k+。对于ABC算法的研究也呈逐年上涨的趋势。​图源文献[8]本文的内容之一即是介绍ABC算法的原理，并讨论其可利用与改进之处，最后给出其代码（Matlab/Python）实现。

在物流运输行业中，运输的主要方式有海洋运输、航空运输、公路运输和铁路运输等。在国际货物中最主要的运输方式是海洋运输，据统计，中国进出口近90％货运都是利用海洋运输进行的。而在海洋运输中主要有杂货运输以及集装箱运输两种运输方式，由于集装箱运输具有装卸效率高和适合多式联运等优点，使得集装箱运输成为国际运输的重要运输方式。而集装箱港口一旦建成，再次修建将花费大量人力和物力，因此改进港口的生产运作是提升港口竞争力的重要措施。

前面的文章中，KAU介绍了星鸦优化算法(Nutcracker Optimization Algorithm，NOA)[1]，NOA算法模拟了星鸦觅食、存储以及缓存搜索、恢复的行为。在性能上，与近年发表的算法/高引算法/CEC竞赛获胜算法相比均排名第一。然而由没有免费的午餐（NFL）定理可知，没有元启发式优化算法可以处理所有的优化问题，在某些情况下(可结合应用)，NOA算法同样存在全局/局部开发能力不平衡，易陷入局部最优等问题。

文章来源于我的个人公众号：KAU的云实验台，主要更新智能优化算法的原理、应用、改进CEC2005中的测试(MATLAB/PYTHON)本文KAU将介绍一个2018年在CEC会议中提出的优化算法——郊狼优化算法(Coyote Optimization Algorithm，COA)[1]该算法由Juliano Pierezan等于2018年提出，COA的灵感来源于生活在北美的郊狼种群的社会行为，和其他优化器不同的是，郊狼优化算法并没有参考狼群的猎食行为，而是更注重种群的群体结构及对环境的适应和部落间的交流

然后将支配等级为1的解筛出，再从剩下的个体中选出Pareto解，其支配等级为2，以此循环，直至整个种群完成分级，则支配等级越低的解将支配支配等级高的解，此即非支配排序。为了将多目标能力添加到WOA算法中，NSWOA主要在WOA的框架上增加了对个体的非支配排序，通过拥挤度计算和精英保留策略（与NSGA-II类似），筛选出优秀非支配个体引导种群，并进行种群的进化。以上是WOA的流程，由于多目标问题的特殊性，因此需要对最佳个体的选择机制进行修改，下面介绍NSWOA的理论内容。1 多目标鲸鱼优化算法原理。

同样，BiLSTM也存在一定可进行优化选择的超参数，若采取经验法或试错法，则有不能获取最优取值组合、时间成本高等问题。优化算法通过对超参数组合的随机生成与更新，能够更快速地获取优解，不失为一种应用方法。前面的文章中KAU已经介绍过很多种优化算法及其改进策略，本文中我也会应用这些算法优化BiLSTM，下面简单罗列一些优化算法方便一些朋友查看相应原理。

1.1 多尺度协同变异变异尺度对算法的搜索与收敛性能都有影响，若变异尺度过大，则可能越过极值点，若变异尺度过小，则需要大量迭代以实现空间的遍历，因此引入不同尺度的高斯变异算子能够有利于搜索全局最优，加快收敛。多尺度协同变异即是本文的第一个变异策略。1.2 正态云模型在众多的不确定性中，随机性和模糊性无疑是最常见的属性。为了克服处理不确定性的不足,文献[1]提出了云模型来实现定量描述与定性概念之间的不确定性转换。云模型的特征在于3个数学参数:期望(Ex)、熵(En)和超熵(He)。

主要更新CEC2005中的测试本文KAU将介绍一个2023年发表在1区期刊KBS上的优化算法——星鸦优化算法(Nutcracker Optimization Algorithm，NOA)[1]该算法由Mohamed Abdel-Basset等于2023年提出，Mohamed Abdel-Basset教授同时也是开普勒、光谱、蜘蛛蜂等优化器的提出者。而本文要介绍的NOA灵感来源于生活在美国西部和加拿大山区中的一种名叫星鸦的鸟类，该优化器模拟了星鸦觅食、存储以及缓存搜索、恢复的行为。

粒子群算法(PSO)是Eberhart和Kennedy于1995年提出的一种模拟鸟类觅食行为的算法[1]，具有操作简单、速度快等特点。但在实际应用中，许多决策问题都是多目标优化问题，采用粒子群算法来处理多目标优化问题是一种有效方法，Coello 等人将粒子群优化算法扩展到多个目标，提出了基于外部存档思想和 Pareto支配基本原理的多目标粒子群算法(MOPSO)[2]

文章来源于我的个人公众号：KAU的云实验台，主要更新智能优化算法的原理、应用、改进进化算法(EA)是模拟生物在自然环境中的进化过程而形成的一类自适应全局优化概率搜索算法。进化算法同时对整个群体进行操作，单次运行可以搜索到多个解，可以处理传统优化方法难以解决的复杂优化问题，因此进化算法非常适用于求解多目标优化问题。在多目标进化算法的发展中，SPEA是经典的第二代多目标优化算法。经典的第二代多目标优化算法还有：PAES、PESA、PESA-II、SPEA2等。

主要更新所有元启发式算法的共同点在于，其搜索过程可分为勘探和开发两个阶段。勘探阶段指算法对全局空间的搜索能力，决定了算法能否获得最优解；开发阶段指对局部空间的搜索能力，决定了算法获得最优解的速度。勘探和开发之间的平衡做的越好，算法的性能就越好。

主要更新CEC2005中的测试本文KAU将介绍一个2023年1月发表在中科院1区KBS上的优化算法——长鼻浣熊优化算法(Coati Optimization Algorithm，COA)[1]该算法由Dehghani教授等人[1]于2023年提出，其模拟了北美长鼻浣熊合作攻击鬣蜥时的行为(勘探)以及分散逃离捕食者时的行为(开发)，具有无需设置控制参数、高效率以及较强的平衡能力(勘探/开发)等优势，与11种优化算法在51个基准函数上进行测试，显示出其惊艳的性能。图源文献[1]

主要更新如今，生成的数据集呈指数级增长，这将产生具有大量特征和样本的数据集，而显然，某些特征是不相关/冗余的，它们对预测器会产生负面影响。而特征选择作为一种能够有效降低数据维度、缩减计算成本、提高学习性能的数据预处理方法，现在已广泛地应用于机器学习和数据挖掘中。主要的特征选择方法包括4种：过滤式、封装式、嵌入式、集成式。本文主要介绍封装式，它的优点是：在已知后续学习算法的条件下，其选出的特征效果更优于其他方法，但对于高维数据其计算成本较大。

文章来源于我的个人公众号：KAU的云实验台，主要更新智能优化算法的原理、应用、改进CEC2005中的测试本文KAU将介绍一个由Abualigah等人于2021年发表在Comput. Methods Appl. Mech. Eng.上的元启发式算法——算术优化算法(Arithmetic Optimization Algorithm，AOA)[1]​AOA算法的设计很有意思，其巧妙的利用了数学中的加减乘除，乘除运算具有分散度高的性质，用于全局搜索，加减则具有分散度较低的性质，应用于局部搜索。

文章来源于我的，主要更新函数测试：前面的文章中KAU介绍了2022年发表在中科院1区期刊KBS上的优化算法——白鲸优化算法(Beluga Whale Optimization，BWO)[1]，该算法与15种优化算法在30个基准函数和4个真实优化问题上进行测试，均显示出其惊艳的性能。但BWO也和其他算法一样，在某些复杂场景（可以结合你们的应用场景进行描述）中存在收敛速度慢、全局探索能力不足、易陷入局部最优的问题。

主要更新CEC2005中的测试本文KAU将介绍一个2022年发表在中科院1区期刊KBS上的优化算法——白鲸优化算法(Beluga Whale Optimization，BWO)[1]该算法由大连理工大学学者Zhong等人[1]于2022年提出，其模拟了白鲸游泳、捕食和鲸落行为，与15种优化算法在30个基准函数和4个真实优化问题上进行测试，均显示出其惊艳的性能，目前也成功应用于机器学习、电力系统经济负荷调度、车间调度等领域。图源文献[1]

同样，GRU也存在一定可进行优化选择的超参数，若采取经验法或试错法，则有不能获取最优取值组合、时间成本高等问题。优化算法通过对超参数组合的随机生成与更新，能够更快速地获取优解，不失为一种应用方法。前面的文章中KAU已经介绍过很多种优化算法及其改进策略，本文中我也会应用这些算法优化GRU。

​前面的文章里作者介绍了多目标灰狼优化算法(Multi-Objective Grey Wolf Optimizer，MOGWO)，该算法是由Mirjalili等(灰狼算法的提出者)于2016年提出[1]，发表在中科院一区期刊《expert systems with applications》。MOGWO保留了灰狼算法的种群更新机制，即通过模拟灰狼的严格等级制度以及自然界中的狩猎和捕食行为来迭代搜索优化，因此具有收敛速度快、效率高以及精度高等优点。

正余弦优化算法(Sine cosine algorithm，SCA)是由Mirjalili [1]在2016年提出，目前WOS上引用量2K+，谷歌学术上4K+。不得不说Seyedali Mirjalili真是位大神级的人物(下图是Mirjalili开发的部分算法)SCA的核心思想是利用正、余弦函数波动的周期性，在全局范围内探索最优解，使算法逐步收敛。其具有结构简单、参数少、易于实现的特点。其优化性能优于GA、PSO、花授粉等，已被广泛用于数据分类、光谱特征峰定位和电力系统调度等不同领域。

在前面的文章中，作者大多介绍的都是单目标优化算法，然而现实世界的很多问题通常由多个目标组成（比如作者在上一篇文章中介绍的无人机路径规划，各成本函数可以看作不同的目标，若改变成本函数的权值，其规划结果会不同）。解决多目标问题通常很困难，因为目标之间往往会相互冲突。要使所有目标同时都达到最优往往是不可能实现的。因此，对于多目标问题，需要找到的是一组均衡解，也就是Pareto最优解[1]，使各个目标尽可能达到最优，这个过程即为多目标优化。图片来源：进化超多目标优化研究进展及展望。

近年来，无人机(unmanned aerial vehicle，UAV)由于其灵活度高、机动性强、安全风险系数小、成本低等特点，被广泛应用于搜索巡逻、侦察监视、抢险救灾、物流配送、电力巡检、农业灌溉等军用或民用任务。路径规划是无人机执行任务的关键，也是自主无人机在工程应用上的主要挑战。现有的无人机路径规划算法主要分为经典算法和元启发式算法，经典算法包括：A*算法、快速搜索随机数RRT等，但这些算法在面对复杂环境时搜索效率较低，收敛迟缓。

CEC2017中的测试本文作者将介绍一个2023年发表在中科院1区期刊《Knowledge -Based Systems》上的优化算法——开普勒优化算法(Kepler optimization algorithm，KOA)[1]算法性能上，与鹈鹕、黏菌、灰狼和鲸鱼等一众优化算法在CEC2014、CEC2017、CEC2020和CEC2022上进行了测试，均显示出其惊艳的性能。因此，感兴趣的各位就和作者一起学习一下该算法的巧妙之处吧，并且，在文章的最后也给出了算法的MATLAB和Python实现。

测试函数为F15在MATLAB中执行程序结果如下：在Python中执行程序结果如下：众所周知，麻雀搜索算法SSA是2020年由东华大学沈波教授团队提出[1]的一种性能十分优异的优化算法，而最近作者发现，在2020年还提出了一个优化算法，目前在谷歌学术和wos上引用量都高于SSA——黏菌算法(slime mould algorithm, SMA)

测试函数为F9在MATLAB中执行程序结果如下：在Python中执行程序结果如下：哈里斯鹰优化算法(Harris Hawks Optimization , HHO)是 Heidari等[1]于2019年提出的一种新型元启发式算法，设计灵感来源于哈里斯鹰在捕食猎物过程中的合作行为以及突然袭击的狩猎风格，算法的寻优过程包括探索、探索与开发转换和开发三个阶段。具有需调参数少、原理简单易实现、局部搜索能力强等优点。在数值和工程优化、图像识别、故障诊断、电网优化设计、等工程领域得到广泛的应用。