【MATLAB第21期】基于matlab的MWOA-LSTM-Attention注意力机制结合的回归预测模型

【MATLAB第21期】基于matlab的MWOA-LSTM-Attention注意力机制结合的回归预测模型

运行环境：

matlab2020a，cpu

数据：

本文采用600行6输入1输出数据样本，其中前500（90%训练，10%验证），后100进行测试。
为了简化数据 ，对下图数据缩小100倍值 。

思路：

LSTM_Attention的代码网上基本有售卖，本文在基础上进行优化，即通过嵌入Circle映射和逐维小孔成像反向学习的鲸鱼优化算法(MWOA)以及普通鲸鱼优化算法WOA优化LSTM_Attention模型的3个超参数，分别为隐含层神经元数量、最小批处理数量，最大训练次数，目标函数选用测试集的1-R2作为评价指标，3个超参数上下限为：

lb = [20 5 5 ];%三个参数的下限    隐含层神经元数量  最小批样本处理数量  最大训练次数 
ub = [90 20 40 ];%三个参数的上限

参数设置：

%LSTM结构参数
LearnRateDropFactor = 0.9;%学习率下降因子
LearnRate = 0.01;%初始学习率
LearnRatestep=5；%每5轮更新学习率
executionEnvironment = "auto";%运行环境为自动
validatasize=10%；%训练过程中验证集比例为10%
validationFrequency = 10;%每10次训练验证1次
gradientDecayFactor = 0.9;%梯度衰减因子为0.9
squaredGradientDecayFactor = 0.999;%平方梯度衰减因子为0.999
gradientThreshold = 6;%梯度阈值为6
loss = mse;%训练过程中损失函数为mse函数 

%WOA参数
SearchAgents_no = 5; % 种群数量  5
Max_iteration = 5; % 迭代次数   5

注意力机制部分代码：

%% 输入部分
% Lstm_Y   LSTM输出序列（CBT）
% Train_Y  训练样本标签
% params   训练权重参数
% state    状态变量
%% 需要学习的参数
weight = params.cnn.weight;
recurrentWeights = params.lstm.recurrentWeights;
bias = params.lstm.bias;
%% 不同批次间传递的参数(这里假设每一轮epoch中，不同Batch间的state是传递的，但不学习；
%   不同epoch之间的state重置）
h0 = state.lstm.h0;
c0 = state.lstm.c0;
[Lstm_Y,h0,c0] = lstm(Train_X,h0,c0,weight,recurrentWeights,bias);

%% Attention
Attentionweight  = params.attention.weight; % 计算得分权重
Ht = Lstm_Y(:,:,end);       % 参考向量
%% Attention输出
weight1 = params.attenout.weight1;
bias1 = params.attenout.bias1;
weight2 = params.attenout.weight2;
bias2 = params.attenout.bias2;
Hthat = fullyconnect(Vt,weight1,bias1) + fullyconnect(Ht,weight2,bias2);

%% 全连接层前置层(降维）
LastWeight = params.fullyconnect.weight1;
LastBias = params.fullyconnect.bias1 ;
FullyconnectInput = fullyconnect(Hthat,LastWeight,LastBias);
FullyconnectInput = relu(FullyconnectInput);
%% Fullyconnect输入参数

fullyweight = params.fullyconnect.weight2;
fullybias = params.fullyconnect.bias2;
output_Y = fullyconnect(FullyconnectInput,fullyweight,fullybias);
output_Y = squeeze(output_Y);
output_Y = relu(output_Y);

预测结果：

优化前超参数设置为【50,10,10】即神经元50个，训练次数及最小批为10.
WOA优化后为【64 6 11】
MWOA优化后为【30 9 18】

分析：

案例数据精度仍存在一些不足，除了超参数范围对结果的影响，进化算法选取及参数设置以外，数据的选择，目标函数的选择以及运行环境（CPU/GPU）对结果影响也较大。 研究发现，通过试验发现GPU的精度要明显高一些，其次，选择1-R2作为目标函数比选择RMSE均方根误差作为目标函数的精度高一些。

代码获取：

代码有偿。有意向后台（非评论区）私聊回复“注意力机制”，即可获得下载链接。创作不易，感谢理解。