matlab R2024a以上
一、数据集
二、2024年新SCI顶刊算法蛇鹭优化算法SBOA
2024年,Y Fu受到自然界中鹭鹰生存行为启发,提出了鹭鹰优化算法(Secretary Bird Optimization Algorithm, SBOA)。
2.1算法思想
SBOA生存需要不断地寻找猎物和躲避捕食者的追捕,探索阶段模拟鹭鹰捕食蛇,而开发阶段模拟鹭鹰逃离捕食者。在这个阶段,鹭鹰观察环境,选择最合适的方式到达安全的避难所。
2.2算法过程
初始准备阶段
秘书鸟优化算法(SBOA)方法属于基于种群的元启发式方法的范畴,其中每只秘书鸟被视为算法种群的一员。每只秘书鸟在搜索空间中的位置确定决策变量的值。因此,在SBOA方法中,秘书鸟的位置代表了问题的候选解。
秘书鸟的狩猎策略(探索阶段)
秘书鸟以蛇为食时的捕猎行为通常分为三个阶段:寻找猎物、消耗猎物和攻击猎物。
阶段1(搜索猎物):秘书鸟的狩猎过程通常从搜索潜在猎物开始,尤其是蛇。秘书鸟有着极其敏锐的视力,使它们能够迅速发现藏在热带草原高草中的蛇。它们利用长腿缓慢地扫过地面,同时注意周围环境,寻找蛇的迹象。它们的长腿和长脖子使它们能够保持相对安全的距离,避免蛇的攻击。这种情况在优化的初始迭代中出现,探索至关重要。因此,这个阶段采用差分进化策略。差分进化利用个体间的差异来生成新的解决方案,增强算法的多样性和全局搜索能力。通过引入差分变异操作,多样性有助于避免陷入局部最优解。个体可以探索解决方案空间的不同区域,增加找到全局最优解的机会。
第二阶段(捕食猎物):在秘书鸟发现蛇后,它采用独特的狩猎方法。不同于其他猛禽立即潜入战斗,秘书鸟运用敏捷的步法绕着蛇进行Maneuvers。秘书鸟站稳阵地,从高处的有利位置观察蛇的每一个动作。它根据蛇的举动进行敏锐的判断,逐渐悬停、跳跃并逐渐挑衅蛇,从而消耗对手的体力(Hofmeyr 等人,2014)。在这一阶段,我们引入布朗运动(RB)模拟秘书鸟的随机移动。布朗运动可以用数学模型化等式(6)来描述。这种“外围战斗”策略给了秘书鸟显著的身体优势。它的长腿使蛇难以缠绕其身体,而鸟的爪和腿部表面覆盖着厚厚的角质鳞片,就像一层厚重的盔甲,使其对有毒蛇的毒牙毫无动静。在这个阶段,秘书鸟可能频繁停下来用其敏锐的视力锁定蛇的位置。在这里,我们使用“个体历史最佳位置”和布朗运动的概念。通过使用“个体历史最佳位置”,个体可以朝之前发现的最佳位置进行局部搜索,更好地探索周围的解决方案空间。此外,这种方法不仅有助于个体避免过早收敛到局部最优,还加速了算法收敛到解决方案空间中的最佳位置。这是因为个体可以基于全局信息和自己的历史最佳位置进行搜索,增加了找到全局最优的机会。布朗运动的随机性引入使个体更有效地探索解决方案空间,并可以避免陷入局部最优,从而在解决复杂问题时取得更好的结果。
第3阶段(攻击猎物):当蛇筋疲力尽时,秘书鸟感知到时机的到来,迅速采取行动,利用强大的腿部肌肉发动攻击。这个阶段通常涉及秘书鸟的腿踢技术,它迅速抬起腿,利用锋利的爪子进行精准踢击,通常瞄准蛇的头部。这些踢击的目的是迅速使蛇丧失行动能力或杀死蛇,以避免被蛇咬反击。锋利的爪子打击蛇的要害部位,导致蛇毙命。有时,当蛇太大无法立即杀死时,秘书鸟可能将蛇抓到天空中释放,使其坠落到坚硬的地面上并终结它的生命。在随机搜索过程中,我们引入Levy飞行策略来增强优化器的全局搜索能力,降低SBOA陷入局部解的风险,并提高算法的收敛精度。Levy飞行是一种随机移动模式,其特点是在短时间内进行短距连续步骤和偶尔的长跳跃。它用于模拟秘书鸟的飞行能力,增强其对搜索空间的探索。长跳帮助算法探索搜索空间的全局范围,更快地将个体带到最佳位置附近,而小步则有助于提高优化精度。为了使SBOA在优化过程中更加动态、适应性和灵活——实现更好地在探索和开发之间取得平衡,避免过早收敛,加速收敛并增强算法性能——我们引入一个非线性扰动因子
为了提高算法的优化精度,作者使用加权Levy飞行:
秘书鸟的逃脱策略(开发阶段)
秘书鸟的天敌是大型捕食者,如鹰、老鹰、狐狸和豺,它们可能会攻击它们或偷走它们的食物。当遇到这些威胁时,秘书鸟通常会采用各种规避策略来保护自己或它们的食物。这些策略可以大致分为两种主要类型。第一种策略涉及飞行或快速奔跑。秘书鸟以其异常长的腿而闻名,能够以非凡的速度奔跑。它们可以在一天内跑20至30公里,因此被赋予了"行军鹰"的绰号。此外,秘书鸟是技艺高超的飞行员,可以迅速飞行以逃避危险,寻找更安全的地点(Feduccia and Voorhies 1989)。第二种策略是伪装。秘书鸟可以利用环境中的颜色或结构融入其中,使捕食者难以察觉到它们。遇到威胁时,它们采取的规避行为如图4所示。在SBOA的设计中,假定以下两种条件中的任意一种情况以相同的概率发生。其中C1代表第一种策略,C2代表第二种策略:
三、Transformer-LSTM模型
Transformer-LSTM 模型结合了 Transformer 和 LSTM(长短期记忆网络)两种架构的优点,用于处理序列数据。以下是对这两种模型及其结合的简要介绍:
1. LSTM(Long Short-Term Memory)
LSTM 是一种特殊的递归神经网络(RNN),特别适用于处理和预测序列数据中的长时间依赖关系。传统的 RNN 在处理长序列时会遇到梯度消失或梯度爆炸问题,而 LSTM 通过引入“记忆单元”(memory cell)和“门控机制”(gating mechanisms),如输入门、遗忘门和输出门,能够有效地保留或遗忘信息,从而克服这些问题。
- 输入门(Input Gate):控制新信息进入记忆单元的程度。
- 遗忘门(Forget Gate):决定记忆单元中已有信息的保留或丢弃。
- 输出门(Output Gate):决定记忆单元的信息将如何影响当前输出。
LSTM 擅长处理时间序列、自然语言处理等任务,特别是在需要记忆长时间依赖的信息时表现出色。
2. Transformer
Transformer 是一种完全基于注意力机制(Attention Mechanism)的架构,最初由 Vaswani 等人在 2017 年提出。与 RNN 类模型不同,Transformer 不依赖于序列顺序地处理数据,而是可以并行处理整个序列。因此,Transformer 在训练效率和捕捉长距离依赖方面具有显著优势。
- 自注意力机制(Self-Attention Mechanism):允许模型在处理序列的每个位置时,都能考虑整个序列中的其他位置的信息。
- 多头注意力(Multi-Head Attention):通过并行计算多个不同的注意力机制,捕捉到序列中更丰富的依赖关系。
Transformer 在机器翻译、文本生成、图像生成等领域取得了显著的成功,特别是像 BERT、GPT 这样的预训练模型。
3. Transformer-LSTM 结合模型
Transformer-LSTM 模型尝试结合两种架构的优点。一般有两种常见的结合方式:
- LSTM + Transformer:首先使用 LSTM 处理输入序列,提取时间序列中的长短期依赖关系,然后将这些特征传递给 Transformer 进行更高级的特征提取和捕捉全局依赖。这种方式可以保留 LSTM 的时序依赖能力,同时利用 Transformer 的全局特征捕捉能力。
- Transformer + LSTM:在这种架构中,Transformer 通常用于捕捉序列中的全局依赖和上下文信息,而 LSTM 则用于更好地理解这些特征在时间序列中的演变。这种方式常用于需要结合时间和全局依赖的复杂任务中。
4. 应用场景
- 自然语言处理(NLP):在机器翻译、文本生成等任务中,Transformer-LSTM 模型可以同时处理局部和全局的依赖关系,提升模型性能。
- 时间序列预测:在金融、气象等领域,结合模型可以更好地捕捉时间序列的动态特征。
5. 优缺点
- 优点:
- 能够同时捕捉序列中的长短期依赖和全局特征。
- 适应多种复杂任务,尤其在处理长序列时具有优势。
- 缺点:
- 模型复杂度较高,训练和推理时间较长。
- 需要大量数据和计算资源进行训练。
通过结合 LSTM 的时序建模能力和 Transformer 的全局依赖捕捉能力,Transformer-LSTM 模型能够更好地处理复杂的序列数据任务。
四、效果展示
五、代码获取
感兴趣的朋友可以关注最后一行
% 参数设置
options0 = trainingOptions('adam', ...
'Plots','none', ...
'MaxEpochs', 100, ...
'MiniBatchSize', 32, ...
'Shuffle', 'every-epoch', ...
'InitialLearnRate', 0.01, ...
'L2Regularization', 0.002, ... % 正则化参数
'ExecutionEnvironment', "auto",...
'Verbose',1);
% 网络训练
net0 = trainNetwork(p_train,t_train,lgraph0,options0);
% https://mbd.pub/o/bread/mbd-Zpmbm5xw