【MATLAB第34期】 MATLAB 2023年棕熊算法 BOA-LSTM时间序列预测模型 #含预测未来功能,以及优化结构层数及单双向类型 研究工作量丰富且新颖

【MATLAB第34期】 MATLAB 2023年棕熊算法 BOA-LSTM时间序列预测模型 #含预测未来功能,以及优化结构层数及单双向类型 研究工作量丰富且新颖

一、代码优势

1.使用2023年棕熊算法BOA优化LSTM超参数(学习率,隐藏层节点,正则化系数,训练次数,结构层数,单双向结构类型)
2.目标函数考虑训练集和测试集,更加合理;运行结果稳定,可直接调用结果,且调用结果非常方便。
3.滑动窗口方法处理单列时间序列数据,考虑历史数据的影响。
4.代码一体化,一键运行;注释丰富,评价指标丰富,逻辑清晰,适合小白学习。
5.代码绘图丰富(除基础绘图以外,还包括训练LOSS图、超参数迭代图)、美观
6.命令行窗口可见运行过程的结果.
7.参数可在代码中设置,方便调试;优化超参数可以根据需求更改 。
8.含预测未来功能。
9.含结构层数,以及LSTM单双向选择功能

举例:

1.绘图美观,且包含对超参数随迭代次数变化的研究。
在这里插入图片描述

2.代码方便计算和调用,只需要在fun函数后面加超参数组合,就能得到结果。

[fitness1,net1,res1,info1] =  fun([0.005,50,0.005,50,1,2]); % 基础参数取值(学习率,隐藏层节点,正则化系数,训练次数,1层结构,单向LSTM)

3.含预测未来功能
在这里插入图片描述

二、后期研究计划

后续将在博文中更新更丰富、功能更完整的作品,敬请期待。
1.多层LSTM结构优化,含单向LSTM/GRU和双向Bilstm混合模型**(已解决多层优化。混合优化暂未解决)**
2.更多超参数优化,含结构层数量、隐含层节点数、最小批处理数量、时间步数等**(已解决多层结构层优化,其余参数好实现,根据具体数据情况自行添加)**
3.含预测未来功能**(已解决)**
4.更多新的算法以及在基础上改进算法对比**(已解决,见35期)**。
5.loss内置函数修改
6.多场景应用(分类、回归、多输入多输出等等)

三、代码展示

%%  1.清空环境变量
warning off             % 关闭报警信息
close all               % 关闭开启的图窗
clear                   % 清空变量
clc                     % 清空命令行
%%  2.导入数据(时间序列的单列数据)
result = xlsread('数据集.xlsx');

%%  3.数据分析
num_samples = length(result);  % 样本个数 
kim = 15;                      % 延时步长(kim个历史数据作为自变量)
zim =  1;                      % 跨zim个时间点进行预测

%%  4.划分数据集
for i = 1: num_samples - kim - zim + 1
    res(i, :) = [reshape(result(i: i + kim - 1), 1, kim), result(i + kim + zim - 1)];
end

%%  5.数据集分析
outdim = 1;                                  % 最后一列为输出
num_size = 0.7;                              % 训练集占数据集比例
num_train_s = round(num_size * num_samples); % 训练集样本个数
f_ = size(res, 2) - outdim;                  % 输入特征维度

%%  6.划分训练集和测试集
P_train = res(1: num_train_s, 1: f_)';
T_train = res(1: num_train_s, f_ + 1: end)';
M = size(P_train, 2);

P_test = res(num_train_s + 1: end, 1: f_)';
T_test = res(num_train_s + 1: end, f_ + 1: end)';
N = size(P_test, 2);

%%  7.数据归一化
[P_train, ps_input] = mapminmax(P_train, 0, 1);
P_test = mapminmax('apply', P_test, ps_input);

[t_train, ps_output] = mapminmax(T_train, 0, 1);
t_test = mapminmax('apply', T_test, ps_output);

%%  8.数据平铺
%   将数据平铺成1维数据只是一种处理方式
%   也可以平铺成2维数据,以及3维数据,需要修改对应模型结构
%   但是应该始终和输入层数据结构保持一致
P_train =  double(reshape(P_train, f_, 1, 1, M));
P_test  =  double(reshape(P_test , f_, 1, 1, N));

t_train = t_train';
t_test  = t_test' ;

%%  9.数据格式转换
for i = 1 : M
    p_train{i, 1} = P_train(:, :, 1, i);
end

for i = 1 : N
    p_test{i, 1}  = P_test( :, :, 1, i);
end

%%  10.优化算法参数设置
SearchAgents_no = 5;                   % 种群数量
Max_iteration = 5;                    % 最大迭代次数
lb = [1e-3, 10, 1e-4,20,1,1];                 % 参数取值下界(学习率,隐藏层节点,正则化系数,训练次数,隐含层层数,LSTM单双向结构)
ub = [1e-2, 80, 1e-3,100,4,2];                 % 参数取值上界(学习率,隐藏层节点,正则化系数,训练次数,隐含层层数,LSTM单双向结构)
dim = 6;% 优化参数个数

fobj=@(x)fun(x);  %适应度函数
%%  11.优化算法初始化
[Best_sol,Best_X,Convergence,BestNet,pos_curve]=BOA(SearchAgents_no,dim,Max_iteration,lb,ub,fobj)

%% 12.优化前LSTM运行结果
            
[fitness1,net1,res1,info1] =  fun([0.005,50,0.005,50]); % 基础参数取值(学习率,隐藏层节点,正则化系数,训练次数)
predict_value1=res1.predict_value1;
predict_value2=res1.predict_value2;
true_value1=res1.true_value1;
true_value2=res1.true_value2;
i=1;
disp('-------------------------------------------------------------')
disp('LSTM结果:')
rmse1=sqrt(mean((true_value1(i,:)-predict_value1(i,:)).^2));
disp(['LSTM训练集根均方差(RMSE):',num2str(rmse1)])
mae1=mean(abs(true_value1(i,:)-predict_value1(i,:)));
disp(['LSTM训练集平均绝对误差(MAE):',num2str(mae1)])
mape1=mean(abs((true_value1(i,:)-predict_value1(i,:))./true_value1(i,:)));
disp(['LSTM训练集平均相对百分误差(MAPE):',num2str(mape1*100),'%'])
r2_1=R2(true_value1(i,:),predict_value1(i,:));
disp(['LSTM训练集R-square决定系数(R2):',num2str(r2_1)])
rmse2=sqrt(mean((true_value2(i,:)-predict_value2(i,:)).^2));
disp(['LSTM测试集根均方差(RMSE):',num2str(rmse2)])
mae2=mean(abs(true_value2(i,:)-predict_value2(i,:)));
disp(['LSTM测试集平均绝对误差(MAE):',num2str(mae2)])
mape2=mean(abs((true_value2(i,:)-predict_value2(i,:))./true_value2(i,:)));
disp(['LSTM测试集平均相对百分误差(MAPE):',num2str(mape2*100),'%'])
r2_2=R2(true_value2(i,:),predict_value2(i,:));
disp(['LSTM测试集R-square决定系数(R2):',num2str(r2_2)])


%% 13. 绘图

%% 14.优化后BOA-LSTM运行结果  
[fitness2,net2,res2,info2] =  fun(Best_X); % 基础参数取值(学习率,隐藏层节点,正则化系数,训练次数)

i=1;
disp('-------------------------------------------------------------')
disp('BOA-LSTM结果:')
disp('BOA-LSTM优化得到的最优参数为:')
disp(['BOA-LSTM优化得到的隐藏单元数目为:',num2str(round(Best_X(2)))]);
disp(['BOA-LSTM优化得到的最大训练周期为:',num2str(round(Best_X(4)))]);
disp(['BOA-LSTM优化得到的InitialLearnRate为:',num2str((Best_X(1)))]);
disp(['BOA-LSTM优化得到的L2Regularization为:',num2str((Best_X(3)))]);
op_rmse1=sqrt(mean((op_true_value1(i,:)-op_predict_value1(i,:)).^2));
disp(['BOA-LSTM训练集根均方差(RMSE):',num2str(op_rmse1)])
op_mae1=mean(abs(op_true_value1(i,:)-op_predict_value1(i,:)));
disp(['BOA-LSTM训练集平均绝对误差(MAE):',num2str(op_mae1)])
op_mape1=mean(abs((op_true_value1(i,:)-op_predict_value1(i,:))./op_true_value1(i,:)));
disp(['BOA-LSTM训练集平均相对百分误差(MAPE):',num2str(op_mape1*100),'%'])
op_r2_1=R2(op_true_value1(i,:),op_predict_value1(i,:));
disp(['BOA-LSTM训练集R-square决定系数(R2):',num2str(op_r2_1)])
op_rmse2=sqrt(mean((op_true_value2(i,:)-op_predict_value2(i,:)).^2));
disp(['BOA-LSTM测试集根均方差(RMSE):',num2str(op_rmse2)])
op_mae2=mean(abs(op_true_value2(i,:)-op_predict_value2(i,:)));
disp(['BOA-LSTM测试集平均绝对误差(MAE):',num2str(op_mae2)])
op_mape2=mean(abs((op_true_value2(i,:)-op_predict_value2(i,:))./op_true_value2(i,:)));
disp(['BOA-LSTM测试集平均相对百分误差(MAPE):',num2str(op_mape2*100),'%'])
op_r2_2=R2(op_true_value2(i,:),op_predict_value2(i,:));
disp(['BOA-LSTM测试集R-square决定系数(R2):',num2str(op_r2_2)])

%% 15.BOA-LSTM绘图
%% 16.预测未来及绘图
通过data最后kim即15个数据作为输入,得到预测结果即第16个值 。  输入2-16,得到第17个值。
本次建议预测未来只取kim个值,即对应滑动窗口尺寸。  
其次,每次需要误差修正,不然用预测值再作为输入,会误差累计 。


未考虑结构层数和单双向优化结果

四、未考虑结构层数和单双向优化运行结果



LSTM结果:
LSTM训练集根均方差(RMSE):0.023407
LSTM训练集平均绝对误差(MAE):0.01781
LSTM训练集平均相对百分误差(MAPE):2.9834%
LSTM训练集R-square决定系数(R2):0.95768
LSTM测试集根均方差(RMSE):0.024046
LSTM测试集平均绝对误差(MAE):0.01902
LSTM测试集平均相对百分误差(MAPE):3.2605%
LSTM测试集R-square决定系数(R2):0.78619


BOA-LSTM结果:
BOA-LSTM优化得到的最优参数为:
BOA-LSTM优化得到的隐藏单元数目为:30
BOA-LSTM优化得到的最大训练周期为:59
BOA-LSTM优化得到的InitialLearnRate为:0.0060983
BOA-LSTM优化得到的L2Regularization为:0.00035327
BOA-LSTM训练集根均方差(RMSE):0.012984
BOA-LSTM训练集平均绝对误差(MAE):0.009747
BOA-LSTM训练集平均相对百分误差(MAPE):1.6228%
BOA-LSTM训练集R-square决定系数(R2):0.98596
BOA-LSTM测试集根均方差(RMSE):0.015044
BOA-LSTM测试集平均绝对误差(MAE):0.011762
BOA-LSTM测试集平均相对百分误差(MAPE):1.9885%
BOA-LSTM测试集R-square决定系数(R2):0.9183

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

五、考虑结构层数和单双向优化运行结果

LSTM结果:
LSTM训练集根均方差(RMSE):0.029838
LSTM训练集平均绝对误差(MAE):0.022429
LSTM训练集平均相对百分误差(MAPE):3.8673%
LSTM训练集R-square决定系数(R2):0.95401
LSTM测试集根均方差(RMSE):0.02557
LSTM测试集平均绝对误差(MAE):0.020291
LSTM测试集平均相对百分误差(MAPE):3.413%
LSTM测试集R-square决定系数(R2):0.77222

BOA-LSTM结果:
BOA-LSTM优化得到的最优参数为:
BOA-LSTM优化得到的隐藏单元数目为:19
BOA-LSTM优化得到的最大训练周期为:64
BOA-LSTM优化得到的InitialLearnRate为:0.0051093
BOA-LSTM优化得到的L2Regularization为:0.00057301
BOA-LSTM训练集根均方差(RMSE):0.019895
BOA-LSTM训练集平均绝对误差(MAE):0.015285
BOA-LSTM训练集平均相对百分误差(MAPE):2.597%
BOA-LSTM训练集R-square决定系数(R2):0.97333
BOA-LSTM测试集根均方差(RMSE):0.01963
BOA-LSTM测试集平均绝对误差(MAE):0.015393
BOA-LSTM测试集平均相对百分误差(MAPE):2.6051%
BOA-LSTM测试集R-square决定系数(R2):0.85712
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

六、分析

根据加入结构层数和单双向结构类型超参数优化时,在同等种群(5)迭代次数(5)的情况下,结果却相对差一些,且运行速度也慢一些。其实也很好理解,对于多优化参数相当于把简单的问题复杂化,不一定结构层数越多越好,反而会把本简单的网络结构复杂化,其次,待优化超参数多了,在种群数量和迭代次数不变的情况下,所对应的样本丰富性来说,反而下降了 。所以,在增加待优化超参数数量时,理应提高种群数量和迭代次数,但是对于简单的问题简单的数据,本末倒置。

七、代码获取

后台私信回复“34期”即可获取下载链接。

  • 1
    点赞
  • 22
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 8
    评论
### 回答1: 可以使用MATLAB中的深度学习工具箱来实现通过蝴蝶优化算法LSTM层数进行寻优的功能。以下是一个简单的示例代码: 首先,需要定义一个适应度函数,用于评估每个LSTM模型的性能。这个函数应该接受一个LSTM模型的隐层数作为输入,并返回该模型在训练集上的损失值。 function loss = fitnessFunction(numLayers) % 创建LSTM网络 layers = [ ... sequenceInputLayer(inputSize) lstmLayer(numHiddenUnits, 'OutputMode', 'last', 'NumHiddenUnits', numHiddenUnits, 'NumLayers', numLayers) fullyConnectedLayer(numClasses) softmaxLayer classificationLayer]; % 训练LSTM网络 options = trainingOptions('adam', ... 'MaxEpochs', 50, ... 'MiniBatchSize', 128, ... 'InitialLearnRate', .01, ... 'LearnRateSchedule', 'piecewise', ... 'LearnRateDropFactor', .1, ... 'LearnRateDropPeriod', 10, ... 'GradientThreshold', 1, ... 'Shuffle', 'every-epoch', ... 'Plots', 'training-progress', ... 'Verbose', false); net = trainNetwork(XTrain, YTrain, layers, options); % 在验证集上评估LSTM网络的性能 YPred = classify(net, XValidation); loss = crossentropy(YValidation, YPred); end 接下来,可以使用蝴蝶优化算法来搜索最佳的隐层数。以下是一个简单的示例代码: % 定义搜索范围 lb = 1; ub = 5; % 定义蝴蝶优化算法的参数 options = optimoptions('bfo', ... 'Display', 'iter', ... 'MaxFunctionEvaluations', 50, ... 'PlotFcn', @optimplotfval); % 运行蝴蝶优化算法 numLayers = bfo(@fitnessFunction, lb, ub, options); 最终,numLayers将包最佳的隐层数。可以使用这个值来训练最终的LSTM模型,并在测试集上评估其性能。 ### 回答2: 蝴蝶优化算法(Butterfly Optimization Algorithm, BOA)是一种优化算法,它模拟了蝴蝶翅膀的振动行为,在搜索空间中进行参数优化。要使用MATLAB实现蝴蝶优化算法LSTM层数进行优化,可以按照以下步骤进行: 1. 导入所需的MATLAB工具箱,如神经网络工具箱和优化工具箱。 2. 创建一个适应度函数,该函数用于评估给定隐层数LSTM模型的性能。可以采用交叉验证、准确率或其他评价指标。 3. 定义搜索空间,即隐层数的范围。可以在蝴蝶优化算法中使用连续或离散的参数。 4. 初始化蝴蝶优化算法的参数,包括蝴蝶群体的大小、迭代次数以及其他参数。可以根据实际问题进行调整。 5. 使用MATLAB中的蝴蝶优化函数(如“butterfly_optimization()”)执行搜索过程。将适应度函数、搜索空间和参数作为输入。 6. 在每次迭代中,蝴蝶优化算法会更新蝴蝶群体的位置,并根据适应度函数评估每个位置的性能。 7. 根据蝴蝶优化算法的搜索结果,找到最优的隐层数。可以在搜索过程结束后,根据蝴蝶的位置和适应度值确定最优解。 下面是一个简单的MATLAB代码示例: ```matlab % 导入所需工具箱 import matlab.net.* import nnet.* % 创建适应度函数 function fitness = lstmFitness(hiddenLayerSize) % 训练和评估LSTM模型 % ... % 返回模型的性能指标,如准确率 end % 定义搜索空间 lb = 1; % 隐层的最小层数 ub = 10; % 隐层的最大层数 % 初始化蝴蝶优化算法的参数 nPopulation = 30; % 蝴蝶群体的大小 nIterations = 50; % 迭代次数 % 执行蝴蝶优化算法 [optimalHiddenLayer, optimalFitness] = butterfly_optimization(@lstmFitness, lb, ub, nPopulation, nIterations); % 输出结果 fprintf('最优的隐层数:%d\n', optimalHiddenLayer); fprintf('最优的适应度值:%f\n', optimalFitness); ``` 需要注意的是,这只是一个简单的示例,实际应用中,可能需要根据具体的问题和数据进行调整和优化。 ### 回答3: 蝴蝶优化算法(Butterfly Optimization Algorithm,简称BOA)是一种模拟蝴蝶群体行为的优化算法,适用于求解复杂的非线性优化问题。 要使用MATLAB实现通过蝴蝶优化算法LSTM层数进行寻优,可以按照以下步骤进行: 第一步,建立LSTM模型:在MATLAB中,可以使用深度学习工具箱中的LSTM网络函数建立一个LSTM模型,设定输入层、输出层以及隐层的神经元个数,其中LSTM网络的隐层数可以初始化为一个合理的初始值。 第二步,定义适应度函数:适应度函数用于评估LSTM模型的性能,可以根据具体问题的需求来设定。在此例中,可以设定适应度函数为LSTM模型在验证集上的准确率或者其他性能指标。 第三步,初始化蝴蝶群体:初始化一群蝴蝶,每只蝴蝶代表一个LSTM模型,包一组隐层数的取值。 第四步,计算适应度值:对每只蝴蝶应用适应度函数,计算出其适应度值。 第五步,更新蝴蝶位置:根据每只蝴蝶的适应度值,使用BOA算法更新每只蝴蝶的位置。 第六步,判断终止条件:判断是否满足终止条件,如达到最大迭代次数或者达到一个预定义的适应度阈值。 第七步,输出结果:输出迭代过程中适应度最好的蝴蝶位置,即所对应的LSTM层数。 在实例中,可以利用一个输入数据集与其对应的标签,在训练集上通过适应度函数评估LSTM模型的性能。然后通过蝴蝶优化算法不断更新LSTM层的层数,并在验证集上测试最佳隐层数对应的模型性能。最终输出最优的LSTM层数及其性能。 需要注意的是,以上步骤只是简要的概述,实际实现中还需要考虑蝴蝶优化算法的具体数学公式、参数设置以及遗传操作的具体实现细节。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

随风飘摇的土木狗

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值