融合正余弦和柯西变异的麻雀优化算法SCSSA-CNN-BiLSTM双向长短期记忆网络预测模型
通过融合正余弦和柯西变异改进麻雀搜索算法，对CNN-BiLSTM的学习率、正则化参数以及BiLSTM隐含层神经元个数等进行优化
预测效果图如下
代码如下：
%% 清空环境变量
warning off % 关闭报警信息
close all % 关闭开启的图窗
clear % 清空变量
clc
%% 导入数据
data = xlsread('data.xls');
[h1,l1]=data_process(data,8);
data = [h1,l1];
[m,n]=size(data);
input = data(:,1:n);
output = data(:,n);
numTimeStepsTrain = floor(0.7*numel(data(:,1))); %取70%的数据作为训练集
XTrain = input(1:numTimeStepsTrain,:);
YTrain = output(1:numTimeStepsTrain,:);
XTest = input(numTimeStepsTrain+1:end,:);
YTest = output(numTimeStepsTrain+1:end,:);
x = XTrain;
y = YTrain;
[xnorm,xopt] = mapminmax(x',0,1);
[ynorm,yopt] = mapminmax(y',0,1);
% 转换成2-D image
for i = 1:length(ynorm)
Train_xNorm{i} = reshape(xnorm(:,i),n,1,1);
Train_yNorm(:,i) = ynorm(:,i);
Train_y(i,:) = y(i,:);
end
Train_yNorm= Train_yNorm';
xtest = XTest;
ytest = YTest;
[xtestnorm] = mapminmax('apply', xtest',xopt);
[ytestnorm] = mapminmax('apply',ytest',yopt);
xtest = xtest';
for i = 1:length(ytestnorm)
Test_xNorm{i} = reshape(xtestnorm(:,i),n,1,1);
Test_yNorm(:,i) = ytestnorm(:,i);
Test_y(i,:) = ytest(i,:);
end
Test_yNorm = Test_yNorm';
%% 优化算法优化前，构建优化前的CNN-BILSTM模型
inputSize = n;
outputSize = 1; %数据输出y的维度
layers0 = [ ...
sequenceInputLayer([inputSize,1,1],'name','input') %输入层设置
sequenceFoldingLayer('name','fold') %使用序列折叠层对图像序列的时间步长进行独立的卷积运算。
convolution2dLayer([2,1],10,'Stride',[1,1],'name','conv1') %添加卷积层，2，1表示过滤器大小，10过滤器个数，Stride是垂直和水平过滤的步长
batchNormalizationLayer('name','batchnorm1') % BN层，用于加速训练过程，防止梯度消失或梯度爆炸
reluLayer('name','relu1') % ReLU激活层，用于保持输出的非线性性及修正梯度的问题
convolution2dLayer([1,1],10,'Stride',[1,1],'name','conv2') %添加卷积层，2，1表示过滤器大小，10过滤器个数，Stride是垂直和水平过滤的步长
batchNormalizationLayer('name','batchnorm2') % BN层，用于加速训练过程，防止梯度消失或梯度爆炸
reluLayer('name','relu2') % ReLU激活层，用于保持输出的非线性性及修正梯度的问题
maxPooling2dLayer([1,5],'Stride',1,'Padding','same','name','maxpool') % 第一层池化层，包括3x3大小的池化窗口，步长为1，same填充方式
sequenceUnfoldingLayer('name','unfold') %独立的卷积运行结束后，要将序列恢复
flattenLayer('name','flatten')
bilstmLayer(3,'Outputmode','last','name','hidden1')
dropoutLayer(0.2,'name','dropout_1') % Dropout层，以概率为0.3丢弃输入
bilstmLayer(5,'Outputmode','sequence','name','hidden3')
dropoutLayer(0.3,'name','dropout_3') % Dropout层，以概率为0.3丢弃输入
bilstmLayer(5,'Outputmode','last','name','hidden2')
dropoutLayer(0.3,'name','drdiopout_2')
fullyConnectedLayer(outputSize,'name','fullconnect') % 全连接层设置（影响输出维度）（cell层出来的输出层） %
tanhLayer('name','softmax')
regressionLayer('name','output')];
lgraph0 = layerGraph(layers0);
lgraph0 = connectLayers(lgraph0,'fold/miniBatchSize','unfold/miniBatchSize');
% 参数设置
options0 = trainingOptions('adam', ... % 优化算法Adam
'MaxEpochs', 300, ... % 最大训练次数
'GradientThreshold', 1, ... % 梯度阈值
'InitialLearnRate', 0.01, ... % 初始学习率
'LearnRateSchedule', 'piecewise', ... % 学习率调整
'LearnRateDropPeriod',100, ... % 训练100次后开始调整学习率
'LearnRateDropFactor',0.01, ... % 学习率调整因子
'L2Regularization', 0.002, ... % 正则化参数
'ExecutionEnvironment', 'cpu',... % 训练环境
'Verbose', 1, ... % 关闭优化过程
'Plots', 'none'); % 画出曲线
% 网络训练
net0 = trainNetwork(Train_xNorm,Train_yNorm,lgraph0,options0 );
Predict_Ynorm_Test = net0.predict(Test_xNorm);
Predict_Y_Test = mapminmax('reverse',Predict_Ynorm_Test',yopt);
Predict_Y_Test = Predict_Y_Test';
rmse = sqrt(mean((Predict_Y_Test(1,:)-(Test_y(1,:))).^2,'ALL'));
R2 = 1 - norm(Test_y - Predict_Y_Test)^2 / norm(Test_y - mean(Test_y ))^2;
disp(['优化前的RMSE：',num2str(rmse)])
% 预测集拟合效果图
figure
hold on
plot(Predict_Y_Test,'r-*','LineWidth',1.0)
plot(Test_y,'b-o','LineWidth',1.0)
legend('CNN-BiLSTM预测值','实际值')
ylabel('预测结果')
xlabel('预测样本')
title(['优化前测试集预测结果对比RMSE:',num2str(rmse)])
box off
set(gcf,'color','w')
%% 调用SSA优化CNN-BILSTM
disp('调用SSA优化CNN-BiLSTM......')
% SSA优化参数设置
SearchAgents = 20; % 种群数量 30
Max_iterations = 30; % 迭代次数 20
lowerbound = [0.0001 0.0001 10 10 10]; %五个参数的下限分别是正则化参数，学习率，BiLSTM的三个隐含层个数
upperbound = [0.01 0.01 300 30 30]; %五个参数的上限
dimension = length(lowerbound);%数量，即要优化的LSTM参数个数
[fMin,Best_pos,Convergence_curve,bestnet] = SCSSAforCNNBILSTM(SearchAgents,Max_iterations,lowerbound,upperbound,dimension,Train_xNorm,Train_yNorm,Test_xNorm,Test_y,yopt,n);
L2Regularization = Best_pos(1,1); % 最佳L2正则化系数
InitialLearnRate = Best_pos(1,2) ;% 最佳初始学习率
NumOfUnits1= fix(Best_pos(1,3)); % 最佳神经元个数
NumOfUnits2= fix(Best_pos(1,4)); % 最佳神经元个数
NumOfUnits3= fix(Best_pos(1,5)); % 最佳神经元个数
disp('优化结束，将最佳net导出并用于测试......')
%% 对训练集的测试
setdemorandstream(pi);
Predict_Ynorm_Train = bestnet.predict(Train_xNorm); %对训练集的测试
Predict_Y_Train = mapminmax('reverse',Predict_Ynorm_Train',yopt); %反归一化
Predict_Y_Train = Predict_Y_Train';
% 适应度曲线
figure
plot(Convergence_curve,'r-', 'LineWidth', 1.5);
title('SCSSA-CNN-BiLSTM', 'FontSize', 10);
legend('适应度值')
xlabel('迭代次数', 'FontSize', 10);
ylabel('适应度值', 'FontSize', 10);
box off
set(gcf,'color','w')
%训练集拟合效果图
figure
hold on
plot(Predict_Y_Train,'r-*','LineWidth',1.0)
plot(Train_y,'b-o','LineWidth',1.0);
ylabel('预测结果')
xlabel('预测样本')
legend('SCSSA-CNN-BiLSTM预测值','实际值')
title('优化后训练集预测结果对比')
box off
set(gcf,'color','w')
%% 对测试集的测试
Predict_Ynorm = bestnet.predict(Test_xNorm);
Predict_Y = mapminmax('reverse',Predict_Ynorm',yopt);
Predict_Y = Predict_Y';
figure
hold on
plot(Predict_Y,'r-*','LineWidth',1.0)
plot(Test_y,'b-o','LineWidth',1.0)
legend('SCSSA-CNN-BiLSTM预测值','实际值')
ylabel('预测结果')
xlabel('预测样本')
title('优化后测试集预测结果对比')
box off
set(gcf,'color','w')
%% 回归图与误差直方图
figure;
plotregression(Test_y,Predict_Y,['优化后回归图']);
set(gcf,'color','w')
figure;
ploterrhist(Test_y-Predict_Y,['误差直方图']);
set(gcf,'color','w')
%% 打印出评价指标
% 预测结果评价
ae= abs(Predict_Y - Test_y);
rmse = (mean(ae.^2)).^0.5;
mse = mean(ae.^2);
mae = mean(ae);
mape = mean(ae./Predict_Y);
R = corr(Test_y,Predict_Y);
R2 = 1 - norm(Test_y - Predict_Y)^2 / norm(Test_y-mean(Test_y ))^2;
disp('预测结果评价指标：')
disp(['RMSE = ', num2str(rmse)])
disp(['MSE = ', num2str(mse)])
disp(['MAE = ', num2str(mae)])
disp(['MAPE = ', num2str(mape)])
disp(['相关系数R = ', num2str(R)])
disp(['决定系数R^2为： ',num2str(R2)])
disp(['BiLSTM的最佳神经元个数为：', num2str(NumOfUnits1), '，',num2str(NumOfUnits2), '，',num2str(NumOfUnits3)])
disp(['最佳初始学习率为：', num2str(InitialLearnRate)])
disp(['最佳L2正则化系数为：', num2str(L2Regularization)])
559
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
