【LSTM回归预测】attention机制LSTM时间序列回归预测【含Matlab源码 1992期】

最新推荐文章于 2024-07-26 17:06:46 发布

Matlab武动乾坤

最新推荐文章于 2024-07-26 17:06:46 发布

阅读量147

点赞数

分类专栏： Matlab神经网络预测与分类（中级版）文章标签： matlab

本文链接：https://blog.csdn.net/KeepingMatlab/article/details/134214071

版权

Matlab神经网络预测与分类（中级版）专栏收录该内容

449 篇文章 7 订阅

订阅专栏

⛄一、运行结果

在这里插入图片描述

✅博主简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，Matlab项目合作可私信。
🍎个人主页：海神之光
🏆代码获取方式：
海神之光Matlab王者学习之路—代码获取方式
⛳️座右铭：行百里者，半于九十。

⛄二、attention机制LSTM预测

1 总体框架
数字货币预测模型分为两部分，由LSTM模块和Attention模块组成。

2 LSTM模块
长短期记忆网络（LSTM）是一种特殊的递归神经网络（RNN）模型，是为了解决RNN模型梯度消失的问题而提出的。在传统的RNN模型当中，当时间跨度较长时，网络权重更新会十分缓慢。针对此问题，LSTM采用了“记忆单元”来存储记忆。下图是LSTM的简单示意图。其中，一个LSTM网络主要包括以下几部分：记忆细胞（Ct）、遗忘门（ft）、输入门（it）、输出门（Ot）。

3 Attention模块
在实际过程中，长时间序列特征的重要程度往往存在差异，而LSTM神经网络对于长时间序列输入没有区分。数字货币价格随着各种因素的变化在不断变化，不同时间点的特征对于数字货币价格预测的影响程度是不同的。在时间序列数据的处理中，Attention机制对长短期记忆网络（LSTM）输出的隐藏层向量ht进行加权求和。此处的权重大小可以理解为“不同时间点上的特征的重要程度”。其中，Hi表示第i时刻输入序列的隐藏层的状态值。然后，我们通过相似性函数Score(Hi,Hk）获取最后一个隐藏层输出Hk与其他每个时间点隐藏层输出Hi的相似度得分ei。相似性函数计算公式如下：
在这里插入图片描述
其中，Dot表示采用点积的方式进行计算。然后，通过公式（8）的soft-max函数可以计算出每个时间点的不同的注意力权重ai，在此基础上计算注意力权重ai与隐藏层状态的乘积，即可得到Attention层的输出向量C。
在这里插入图片描述

⛄三、部分源代码

% QRLSTM
% 数据集（列为特征，行为样本数目
% QRLSTM
% 数据集（列为特征，行为样本数目
clc
clear
close all
load(‘./Train.mat’)
%
Train(1,:) =[];
y = Train.demand;
x = Train{:,3:end};
[xnorm,xopt] = mapminmax(x’,0,1);
[ynorm,yopt] = mapminmax(y’,0,1);
x = x’;
xnorm = xnorm(:,1:1000);
ynorm = ynorm(1:1000);

k = 24; % 滞后长度

% 转换成2-D image
for i = 1:length(ynorm)-k

Train_xNorm(:,i,:) = xnorm(:,i:i+k-1);
Train_yNorm(i) = ynorm(i+k-1);
Train_y(i) = y(i+k-1);

end
Train_yNorm= Train_yNorm’;

ytest = Train.demand(1001:1170);
xtest = Train{1001:1170,3:end};
[xtestnorm] = mapminmax(‘apply’, xtest’,xopt);
[ytestnorm] = mapminmax(‘apply’,ytest’,yopt);
xtest = xtest’;
for i = 1:length(ytestnorm)-k
Test_xNorm(:,i,:) = xtestnorm(:,i:i+k-1);
Test_yNorm(i) = ytestnorm(i+k-1);
Test_y(i) = ytest(i+k-1);
end
Test_yNorm = Test_yNorm’;

clear k i x y
%

%% 训练集和验证集划分
TrainSampleLength = length(Train_yNorm);
validatasize = floor(TrainSampleLength * 0.1);
Validata_xNorm = Train_xNorm(:,end - validatasize:end,:);
Validata_yNorm = Train_yNorm(:,TrainSampleLength-validatasize:end);
Validata_y = Train_y(TrainSampleLength-validatasize:end);

Train_xNorm = Train_xNorm(:,1:end-validatasize,:);
Train_yNorm = Train_yNorm(:,1:end-validatasize);
Train_y = Train_y(1:end-validatasize);
%%

[params,~] = paramsInit(numhidden_units1,inputSize,outputSize); % 导入初始化参数

[~,validatastate] = paramsInit(numhidden_units1,inputSize,outputSize); % 导入初始化参数
[~,TestState] = paramsInit(numhidden_units1,inputSize,outputSize); % 导入初始化参数
% 训练相关参数
TrainOptions;
numIterationsPerEpoch = floor((TrainSampleLength-validatasize)/minibatchsize);
LearnRate = 0.01;
%% Loop over epochs.
figure
start = tic;
lineLossTrain = animatedline(‘color’,‘r’);
validationLoss = animatedline(‘color’,‘g’,‘Marker’,‘o’);
xlabel(“Iteration”)
ylabel(“Loss”)

% epoch 更新
iteration = 0;
for epoch = 1 : numEpochs

[~,state] = paramsInit(numhidden_units1,inputSize,outputSize);       % 每轮epoch，state初始化
disp(['Epoch: ', int2str(epoch)])

% batch 更新
for i = 1 : numIterationsPerEpoch

    
    dlX = gpuArray(Train_xNorm(:,idx,:));
    dlY = gpuArray(Train_yNorm(idx));
    [gradients,loss,state] = dlfeval(@Model2,dlX,dlY,params,state);
    
    % L2正则化

% L2regulationFactor = 0.000011;
% gradients = dlupdate( @(g,parameters) L2Regulation(g,parameters,L2regulationFactor),gradients,params);
% gradients = dlupdate(@(g) thresholdL2Norm(g, gradientThreshold),gradients);

    [params,averageGrad,averageSqGrad] = adamupdate(params,gradients,averageGrad,averageSqGrad,iteration,LearnRate);
    
    
    
    % 验证集测试
    if iteration == 1 || mod(iteration,validationFrequency) == 0
        output_Ynorm = ModelPredict(gpuArray(Validata_xNorm),params,validatastate);
        lossValidation = mse(output_Ynorm, gpuArray(Validata_yNorm));
    end

    
    % 作图（训练过程损失图）--------------------------********————————————————————————————————————————————————

end

% 每轮epoch 更新学习率
if mod(epoch,5) == 0
    LearnRate = LearnRate * LearnRateDropFactor;
end

end

%% 训练集
Predict_yNorm = Model2Predict(gpuArray(Train_xNorm),params,TestState);
Predict_yNorm = extractdata(Predict_yNorm);

Predict_y = mapminmax(‘reverse’,Predict_yNorm,yopt);
%
figure
plot(Predict_y,‘r’);
hold on
plot(Train_y,‘g’)
legend(‘训练集预测值’,‘训练集实际值’)
%% 验证集
Predict_yNorm = Model2Predict(gpuArray(Validata_xNorm),params,TestState);
Predict_yNorm = extractdata(Predict_yNorm);

Predict_y = mapminmax(‘reverse’,Predict_yNorm,yopt);
%
figure
plot(Predict_y,‘r’);
hold on
plot(Validata_y,‘g’)
legend(‘验证集预测值’,‘验证集实际值’)

%% predict(测试集)
Predict_yNorm = Model2Predict(gpuArray(Test_xNorm),params,TestState);
Predict_yNorm = extractdata(Predict_yNorm);

Predict_y = mapminmax(‘reverse’,Predict_yNorm,yopt);
%
figure
plot(Predict_y,‘r’);
hold on
plot(Test_y,‘g’)
legend(‘测试集预测值’,‘测试集实际值’)

⛄四、matlab版本及参考文献

1 matlab版本
2014a

2 参考文献
[1] 万浩睿,李成林,赵开明,王睿林.基于Attention机制的LSTM数字货币预测模型[J].长江信息通信. 2022,35(05)

3 备注
简介此部分摘自互联网，仅供参考，若侵权，联系删除

🍅 仿真咨询
1 各类智能优化算法改进及应用
生产调度、经济调度、装配线调度、充电优化、车间调度、发车优化、水库调度、三维装箱、物流选址、货位优化、公交排班优化、充电桩布局优化、车间布局优化、集装箱船配载优化、水泵组合优化、解医疗资源分配优化、设施布局优化、可视域基站和无人机选址优化

2 机器学习和深度学习方面
卷积神经网络（CNN）、LSTM、支持向量机（SVM）、最小二乘支持向量机（LSSVM）、极限学习机（ELM）、核极限学习机（KELM）、BP、RBF、宽度学习、DBN、RF、RBF、DELM、XGBOOST、TCN实现风电预测、光伏预测、电池寿命预测、辐射源识别、交通流预测、负荷预测、股价预测、PM2.5浓度预测、电池健康状态预测、水体光学参数反演、NLOS信号识别、地铁停车精准预测、变压器故障诊断

3 图像处理方面
图像识别、图像分割、图像检测、图像隐藏、图像配准、图像拼接、图像融合、图像增强、图像压缩感知

4 路径规划方面
旅行商问题（TSP）、车辆路径问题（VRP、MVRP、CVRP、VRPTW等）、无人机三维路径规划、无人机协同、无人机编队、机器人路径规划、栅格地图路径规划、多式联运运输问题、车辆协同无人机路径规划、天线线性阵列分布优化、车间布局优化

5 无人机应用方面
无人机路径规划、无人机控制、无人机编队、无人机协同、无人机任务分配

6 无线传感器定位及布局方面
传感器部署优化、通信协议优化、路由优化、目标定位优化、Dv-Hop定位优化、Leach协议优化、WSN覆盖优化、组播优化、RSSI定位优化

7 信号处理方面
信号识别、信号加密、信号去噪、信号增强、雷达信号处理、信号水印嵌入提取、肌电信号、脑电信号、信号配时优化

8 电力系统方面
微电网优化、无功优化、配电网重构、储能配置

9 元胞自动机方面
交通流人群疏散病毒扩散晶体生长

10 雷达方面
卡尔曼滤波跟踪、航迹关联、航迹融合