多头注意力+自适应带宽核密度估计+区间预测 | CNN-GRU-MATT-ABKDE的多头注意力机制自适应带宽核密度估计多变量回归区间预测（Matlab实现）

多头注意力+自适应带宽核密度估计+区间预测 | CNN-GRU-MATT-ABKDE的多头注意力机制自适应带宽核密度估计多变量回归区间预测（Matlab实现）

效果一览

基本介绍

1.Matlab实现CNN-GRU-MATT-ABKDE的卷积神经网络门控循环单元多头注意力机制自适应带宽核密度估计多变量回归区间预测（完整源码和数据）
2.CNN-GRU-MATT-ABKDE的卷积神经网络门控循环单元多头注意力机制自适应带宽核密度估计多变量回归区间预测（点预测+概率预测+核密度估计） Matlab语言
3.多变量单输出，包括点预测+概率预测+核密度估计曲线，MatlabR2023a及以上版本运行，提供多种置信区间！评价指标包括R2、MAE、RMSE、MAPE、区间覆盖率picp、区间平均宽度百分比pinaw等。
4.算法新颖，对固定带宽核函数进行了改进。
5.直接替换Excel数据即可用，注释清晰，适合新手小白，直接运行main文件一键出图。
6.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。
多头自注意力层 (Multihead-Self-Attention)：Multihead-Self-Attention多头注意力机制是一种用于模型关注输入序列中不同位置相关性的机制。它通过计算每个位置与其他位置之间的注意力权重，进而对输入序列进行加权求和。注意力能够帮助模型在处理序列数据时，对不同位置的信息进行适当的加权，从而更好地捕捉序列中的关键信息。在时序预测任务中，注意力机制可以用于对序列中不同时间步之间的相关性进行建模。

程序设计

• 完整程序和数据获取方式关注并私信博主回复CNN-GRU-MATT-ABKDE的多头注意力机制自适应带宽核密度估计多变量回归区间预测（Matlab实现）。

%%  清空环境变量
warning off             % 关闭报警信息
close all               % 关闭开启的图窗
clear                   % 清空变量
clc                     % 清空命令行

%%  导入数据
res = xlsread('data.xlsx');

%%  数据分析
num_size = 0.7;                              % 训练集占数据集比例
outdim = 1;                                  % 最后一列为输出
num_samples = size(res, 1);                  % 样本个数
%res = res(randperm(num_samples), :);         % 打乱数据集（不希望打乱时，注释该行）
num_train_s = round(num_size * num_samples); % 训练集样本个数
f_ = size(res, 2) - outdim;                  % 输入特征维度

%%  划分训练集和测试集
P_train = res(1: num_train_s, 1: f_)';
T_train = res(1: num_train_s, f_ + 1: end)';
M = size(P_train, 2);

P_test = res(num_train_s + 1: end, 1: f_)';
T_test = res(num_train_s + 1: end, f_ + 1: end)';
N = size(P_test, 2);

%%  数据归一化
[P_train, ps_input] = mapminmax(P_train, 0, 1);
P_test = mapminmax('apply', P_test, ps_input);

[t_train, ps_output] = mapminmax(T_train, 0, 1);
t_test = mapminmax('apply', T_test, ps_output);

%%  数据平铺
%   将数据平铺成1维数据只是一种处理方式
%   也可以平铺成2维数据，以及3维数据，需要修改对应模型结构
%   但是应该始终和输入层数据结构保持一致
P_train =  double(reshape(P_train, f_, 1, 1, M));
P_test  =  double(reshape(P_test , f_, 1, 1, N));

t_train = t_train';
t_test  = t_test' ;

%%  数据格式转换
for i = 1 : M
    p_train{i, 1} = P_train(:, :, 1, i);
end

for i = 1 : N
    p_test{i, 1}  = P_test( :, :, 1, i);
end

%% 参数设置
options = trainingOptions('adam', ...     % Adam 梯度下降算法
    'MaxEpochs', 100,...                  % 最大训练次数
    'MiniBatchSize',64,...                % 批处理
    'InitialLearnRate', 0.001,...         % 初始学习率为0.001
    'L2Regularization', 0.001,...         % L2正则化参数
    'LearnRateSchedule', 'piecewise',...  % 学习率下降
    'LearnRateDropFactor', 0.1,...        % 学习率下降因子 0.1
    'LearnRateDropPeriod', 400,...        % 经过800次训练后 学习率为 0.001*0.1
    'Shuffle', 'every-epoch',...          % 每次训练打乱数据集
    'ValidationPatience', Inf,...         % 关闭验证
    'Plots', 'training-progress',...      % 画出曲线
    'Verbose', false);

%% 训练
net = trainNetwork(p_train, t_train, lgraph, options);

%% 预测
t_sim1 = predict(net, p_train); 
t_sim2 = predict(net, p_test ); 

%%  数据反归一化
T_sim1 = mapminmax('reverse', t_sim1', ps_output);
T_sim2 = mapminmax('reverse', t_sim2', ps_output);

%% *区间预测* (基于KDE)
z = [0.975;0.95;0.875;0.75;0.625;0.55;0.525]; %分位数

%% *值评估指标*
[Error] = PlotError(T_sim1,T_train,N,'#3D59AB');

%% *自适应带宽核密度估计
figure;
[y,t,optim_width,~,~,confb95] = ABKDE(Error);
hold on
window=fill([t,fliplr(t)],[confb95(1,:),fliplr(confb95(2,:))],[7 7 7]/8,'FaceAlpha',0.5);
window.EdgeColor = 'none';
plot(t,confb95(1,:),'Color',[7 7 7]/9,'LineWidth',1);
plot(t,confb95(2,:),'Color',[7 7 7]/9,'LineWidth',1);
plot(t,y,'Color',[0.9 0.2 0.2],'LineWidth',2);
[f0,xi0] = ksdensity(Error,'Function','pdf');
plot(xi0,f0,'LineWidth',1.5,'Color',"#7E2F8E");
xlim([min(t) max(t)]);
legend({'95%置信核密度估计曲线','','','优化自适应带宽核密度估计曲线','未优化固定带宽核密度估计曲线'});
grid on;
ylabel('概率密度');
xlabel('预测误差');
set(gca,'TickDir','out'); 
set(gcf,'color','w')

参考资料

[1] https://blog.csdn.net/kjm13182345320/article/details/127931217
[2] https://blog.csdn.net/kjm13182345320/article/details/127418340