【LSTM回归预测】贝叶斯优化长短记忆BO-LSTM数据回归预测【含Matlab源码 3197期】

⛄一、运行结果

✅博主简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，Matlab项目合作可私信。
🍎个人主页：海神之光
🏆代码获取方式：
海神之光Matlab王者学习之路—代码获取方式
⛳️座右铭：行百里者，半于九十。

更多Matlab仿真内容点击👇
Matlab图像处理（进阶版）
路径规划（Matlab）
神经网络预测与分类（Matlab）
优化求解（Matlab）
语音处理（Matlab）
信号处理（Matlab）
车间调度（Matlab）

⛄二、贝叶斯及LSTM简介

1 贝叶斯简介
贝叶斯定理是基于概率论和统计学的相关知识实现的。在统计学中有两个较大的分支：频率和贝叶斯。贝叶斯定理描述了在事件A发生的条件下，事件B发生的概率与事件A在事件B发生的条件下的概率之间的相关性。朴素贝叶斯算法是一种简单的贝叶斯算法，它假设所有特征之间相互独立，互不影响。朴素贝叶斯算法在分类问题中广泛应用。

2 LSTM简介
2.1 LSTM控制流程
LSTM的控制流程：是在前向传播的过程中处理流经细胞的数据，不同之处在于 LSTM 中细胞的结构和运算有所变化。

这一系列运算操作使得 LSTM具有能选择保存信息或遗忘信息的功能。咋一看这些运算操作时可能有点复杂，但没关系下面将带你一步步了解这些运算操作。

2.2 核心概念
LSTM 的核心概念在于细胞状态以及“门”结构。细胞状态相当于信息传输的路径，让信息能在序列连中传递下去。你可以将其看作网络的“记忆”。理论上讲，细胞状态能够将序列处理过程中的相关信息一直传递下去。
因此，即使是较早时间步长的信息也能携带到较后时间步长的细胞中来，这克服了短时记忆的影响。信息的添加和移除我们通过“门”结构来实现，“门”结构在训练过程中会去学习该保存或遗忘哪些信息。

2.3 Sigmoid
门结构中包含着 sigmoid 激活函数。Sigmoid 激活函数与 tanh 函数类似，不同之处在于 sigmoid 是把值压缩到 0~1 之间而不是 -1~1 之间。这样的设置有助于更新或忘记信息，因为任何数乘以 0 都得 0，这部分信息就会剔除掉。同样的，任何数乘以 1 都得到它本身，这部分信息就会完美地保存下来。这样网络就能了解哪些数据是需要遗忘，哪些数据是需要保存。

2.4 LSTM门结构
LSTM 有三种类型的门结构：遗忘门、输入门和输出门。
2.4.1 遗忘门
遗忘门的功能是决定应丢弃或保留哪些信息。来自前一个隐藏状态的信息和当前输入的信息同时传递到 sigmoid 函数中去，输出值介于 0 和 1 之间，越接近 0 意味着越应该丢弃，越接近 1 意味着越应该保留。

2.4.2 输入门
输入门用于更新细胞状态。首先将前一层隐藏状态的信息和当前输入的信息传递到 sigmoid 函数中去。将值调整到 0~1 之间来决定要更新哪些信息。0 表示不重要，1 表示重要。
其次还要将前一层隐藏状态的信息和当前输入的信息传递到 tanh 函数中去，创造一个新的侯选值向量。最后将 sigmoid 的输出值与 tanh 的输出值相乘，sigmoid 的输出值将决定 tanh 的输出值中哪些信息是重要且需要保留下来的。

2.4.3 细胞状态
下一步，就是计算细胞状态。首先前一层的细胞状态与遗忘向量逐点相乘。如果它乘以接近 0 的值，意味着在新的细胞状态中，这些信息是需要丢弃掉的。然后再将该值与输入门的输出值逐点相加，将神经网络发现的新信息更新到细胞状态中去。至此，就得到了更新后的细胞状态。

2.4.4 输出门
输出门用来确定下一个隐藏状态的值，隐藏状态包含了先前输入的信息。首先，我们将前一个隐藏状态和当前输入传递到 sigmoid 函数中，然后将新得到的细胞状态传递给 tanh 函数。
最后将 tanh 的输出与 sigmoid 的输出相乘，以确定隐藏状态应携带的信息。再将隐藏状态作为当前细胞的输出，把新的细胞状态和新的隐藏状态传递到下一个时间步长中去。

让我们再梳理一下。遗忘门确定前一个步长中哪些相关的信息需要被保留；输入门确定当前输入中哪些信息是重要的，需要被添加的；输出门确定下一个隐藏状态应该是什么。

⛄三、部分源代码

%% CNN-LSTM多变量回归预测
%% 清空环境变量
warning off % 关闭报警信息
close all % 关闭开启的图窗
clear % 清空变量
clc % 清空命令行
% restoredefaultpath
tic
%% 加载数据与数据集划分

%% 导入数据
P_train = xlsread(‘data’,‘training set’,‘B2：G191’)‘;
T_train= xlsread(‘data’,‘training set’,‘H2：H191’)’;
% 测试集——44个样本
P_test=xlsread(‘data’,‘test set’,‘B2:G45’)‘;
T_test=xlsread(‘data’,‘test set’,‘H2:H45’)’;

f_ = size(P_train, 1); % 输入特征维度
%% 划分训练集和测试集
M = size(P_train, 2);
N = size(P_test, 2);

%% 数据归一化
[p_train, ps_input] = mapminmax(P_train, 0, 1);
p_test = mapminmax(‘apply’, P_test, ps_input);

[t_train, ps_output] = mapminmax(T_train, 0, 1);
t_test = mapminmax(‘apply’, T_test, ps_output);
%% 创建元胞或向量，长度为训练集大小；
XrTrain = cell(size(p_train,2),1);
YrTrain = zeros(size(t_train,2),1);
for i=1:size(p_train,2)
XrTrain{i,1} = p_train(:,i);
YrTrain(i,1) = t_train(:,i);
end
% 创建元胞或向量，长度为测试集大小；
XrTest = cell(size(p_test,2),1);
YrTest = zeros(size(t_test ,2),1);
for i=1:size(p_test,2)
XrTest{i,1} = p_test(:,i);
YrTest(i,1) = t_test (:,i);
end
%% 优化算法参数设置
%参数取值上界(学习率，隐藏层节点，正则化系数)
fitness = @fical;

%% 贝叶斯优化参数范围
optimVars = [
optimizableVariable(‘NumOfUnits’, [10, 50], ‘Type’, ‘integer’)
optimizableVariable(‘InitialLearnRate’, [1e-3, 1], ‘Transform’, ‘log’)
optimizableVariable(‘L2Regularization’, [1e-10, 1e-2], ‘Transform’, ‘log’)];

%% 贝叶斯优化网络参数
BayesObject = bayesopt(fitness, optimVars, … % 优化函数，和参数范围
‘MaxTime’, Inf, … % 优化时间（不限制）
‘IsObjectiveDeterministic’, false, …
‘MaxObjectiveEvaluations’, 10, … % 最大迭代次数
‘Verbose’, 1, … % 显示优化过程
‘UseParallel’, false);

%% 得到最优参数
NumOfUnits = BayesObject.XAtMinEstimatedObjective.NumOfUnits; % 最佳隐藏层节点数
InitialLearnRate = BayesObject.XAtMinEstimatedObjective.InitialLearnRate; % 最佳初始学习率
L2Regularization = BayesObject.XAtMinEstimatedObjective.L2Regularization; % 最佳L2正则化系数
%% 创建混合CNN-LSTM网络架构
% 输入特征维度
numFeatures = f_;
% 输出特征维度
numResponses = 1;
FiltZise = 10;
% 创建"CNN-LSTM"模型
layers = […
% 输入特征
sequenceInputLayer([numFeatures 1 1],‘Name’,‘input’)
sequenceFoldingLayer(‘Name’,‘fold’)

    % 展开层
    sequenceUnfoldingLayer('Name','unfold')
    % 平滑层
    flattenLayer('Name','flatten')
    % LSTM特征学习
    lstmLayer(50,'Name','lstm1','RecurrentWeightsInitializer','He','InputWeightsInitializer','He')
    % LSTM输出
    lstmLayer(NumOfUnits,'OutputMode',"last",'Name','bil4','RecurrentWeightsInitializer','He','InputWeightsInitializer','He')
    dropoutLayer(0.25,'Name','drop3')
    % 全连接层
    fullyConnectedLayer(numResponses,'Name','fc')
    regressionLayer('Name','output')    ];

layers = layerGraph(layers);
layers = connectLayers(layers,'fold/miniBatchSize','unfold/miniBatchSize');

%% CNNLSTM训练选项
% 批处理样本
MiniBatchSize =128;
% 最大迭代次数
MaxEpochs = 500;
options = trainingOptions( ‘adam’, …
‘MaxEpochs’,500, …
‘GradientThreshold’,1, …
‘InitialLearnRate’,InitialLearnRate, …
‘LearnRateSchedule’,‘piecewise’, …
‘LearnRateDropPeriod’,400, …
‘LearnRateDropFactor’,0.2, …
‘L2Regularization’,L2Regularization,…
‘Verbose’,false, …
‘Plots’,‘training-progress’);

%% 训练混合网络
net = trainNetwork(XrTrain,YrTrain,layers,options);
%% 训练集误差评价
% 预测
YPredtr = predict(net,XrTrain,“MiniBatchSize”,numFeatures);
% 结果
t_sim1 =double(YPredtr’);
% 反归一化
CNNLSTMoutput_tra=mapminmax(‘reverse’,t_sim1,ps_output);
T_sim1=double(CNNLSTMoutput_tra);
%% 测试集误差评价
% 预测
YPred = predict(net,XrTest,“MiniBatchSize”,numFeatures);
% 结果
t_sim2=double(YPred’);
% 反归一化
CNNLSTMoutput_test=mapminmax(‘reverse’,t_sim2,ps_output);
T_sim2=double(CNNLSTMoutput_test);
toc

%% 测试集结果
figure;
plotregression(T_test,T_sim2,[‘回归图’]);
figure;
ploterrhist(T_test-T_sim2,[‘误差直方图’]);
%% 均方根误差 RMSE
error1 = sqrt(sum((T_sim1 - T_train).^2)./M);
error2 = sqrt(sum((T_test - T_sim2).^2)./N);

%%
%决定系数
R1 = 1 - norm(T_train - T_sim1)^2 / norm(T_train - mean(T_train))^2;
R2 = 1 - norm(T_test - T_sim2)^2 / norm(T_test - mean(T_test ))^2;

%%
%均方误差 MSE
mse1 = sum((T_sim1 - T_train).^2)./M;
mse2 = sum((T_sim2 - T_test).^2)./N;
%%
%RPD 剩余预测残差
SE1=std(T_sim1-T_train);
RPD1=std(T_train)/SE1;

SE=std(T_sim2-T_test);
RPD2=std(T_test)/SE;
%% 平均绝对误差MAE

⛄四、matlab版本及参考文献

1 matlab版本
2014a

2 参考文献
[1] 包子阳,余继周,杨杉.智能优化算法及其MATLAB实例（第2版）[M].电子工业出版社，2016.

3 备注
简介此部分摘自互联网，仅供参考，若侵权，联系删除

🍅 仿真咨询
1 各类智能优化算法改进及应用
生产调度、经济调度、装配线调度、充电优化、车间调度、发车优化、水库调度、三维装箱、物流选址、货位优化、公交排班优化、充电桩布局优化、车间布局优化、集装箱船配载优化、水泵组合优化、解医疗资源分配优化、设施布局优化、可视域基站和无人机选址优化

2 机器学习和深度学习方面
卷积神经网络（CNN）、LSTM、支持向量机（SVM）、最小二乘支持向量机（LSSVM）、极限学习机（ELM）、核极限学习机（KELM）、BP、RBF、宽度学习、DBN、RF、RBF、DELM、XGBOOST、TCN实现风电预测、光伏预测、电池寿命预测、辐射源识别、交通流预测、负荷预测、股价预测、PM2.5浓度预测、电池健康状态预测、水体光学参数反演、NLOS信号识别、地铁停车精准预测、变压器故障诊断

3 图像处理方面
图像识别、图像分割、图像检测、图像隐藏、图像配准、图像拼接、图像融合、图像增强、图像压缩感知

4 路径规划方面
旅行商问题（TSP）、车辆路径问题（VRP、MVRP、CVRP、VRPTW等）、无人机三维路径规划、无人机协同、无人机编队、机器人路径规划、栅格地图路径规划、多式联运运输问题、车辆协同无人机路径规划、天线线性阵列分布优化、车间布局优化

5 无人机应用方面
无人机路径规划、无人机控制、无人机编队、无人机协同、无人机任务分配

6 无线传感器定位及布局方面
传感器部署优化、通信协议优化、路由优化、目标定位优化、Dv-Hop定位优化、Leach协议优化、WSN覆盖优化、组播优化、RSSI定位优化

7 信号处理方面
信号识别、信号加密、信号去噪、信号增强、雷达信号处理、信号水印嵌入提取、肌电信号、脑电信号、信号配时优化

8 电力系统方面
微电网优化、无功优化、配电网重构、储能配置

9 元胞自动机方面
交通流 人群疏散 病毒扩散 晶体生长

10 雷达方面
卡尔曼滤波跟踪、航迹关联、航迹融合