【DELM回归预测】秃鹰搜索算法改进深度学习极限学习机BES-DELM数据回归预测【含Matlab源码 3856期】

✅博主简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，Matlab项目合作可私信。
🍎个人主页：海神之光
🏆代码获取方式：
海神之光Matlab王者学习之路—代码获取方式
⛳️座右铭：行百里者，半于九十。

更多Matlab仿真内容点击👇
Matlab图像处理（进阶版）
路径规划（Matlab）
神经网络预测与分类（Matlab）
优化求解（Matlab）
语音处理（Matlab）
信号处理（Matlab）
车间调度（Matlab）

⛄一、DELM简介

1 DELM的原理
在2004年，极限学习机（extreme learning machine,ELM）理论被南洋理工大学的黄广斌教授提出，ELM是一种单隐含层前馈神经网络（single-hidden layer feedforward neural network,SLFN）算法。它与常用的BP神经网络相比，ELM是对于权重和阈值随机的选取，而不像BP是通过反向传播算法调节各层之间的权值和阈值，从而减少了算法模型的学习时间和结构的复杂性，提高了模型整体的训练速度。

ELM的基本结构如图1所示，其由输入层、隐含层、输出层这3部分组成。原理说明如下，假设输入数据的样本集合为：X=xi|{1≤i≤N}，输出数据的样本集合为：Y=yi|{1≤i≤N}，其中N为样本总个数、xi为输入样本的第i个训练样本、yi为输出样本的第i个输出样本。这里设置隐含层的神经元个数为J个，则H={hi|1≤i≤J}为隐含层的输出向量的集合，hi为第i个输入样本对应的特征向量。把输入的样本数据在空间上映射到隐含层特征空间上，其二者的关系为

式中：G为激活函数，主要应用的有Sigmoid、Sin、Hardlim等等；α为输入层各个节点到隐含层各个节点的输入权重矩阵；B为隐含层各个节点的阈值矩阵。

图1 ELM的结构
若单隐含层的ELM能够实现在误差极小的情况下逼近“输出的N个样本”，则隐含层的输出为

式中：β为隐含层各个节点到输出层各个节点的输出权重矩阵；H为隐含层输出矩阵。

从以上说明中能看出极限学习机的目的就是让模型的输出与实际的输出之间的差值最小，即求解输出权重矩阵的最小二乘解的问题，只要模型能够输出权重矩阵的最小二乘解就可以完成模型的训练，输出权重矩阵β可由下式表示为

式中：H+为隐含层输出矩阵H的Moore-Penrose广义矩阵。

由于ELM为单隐含层结构，在面对数据量过大、输入数据的维度过高的输入输出变量时，单隐含层的极限学习机无法捕捉到数据的有效特征。在ELM中的权重和阈值是随机的产生的，这可能会使得部分的神经元成为无效的神经元，减弱算法模型对数据特征的学习能力。在研究中发现，更多的学者对于ELM的衍生算法深度极限学习机（deep extreme learning machine,DELM）产生了浓厚的兴趣，所以本文提出使用DELM对数据分析，弥补了ELM的缺点。为了增强模型的泛化能力，这里选择加入一个正则化项

式中：C为正则化系数。

本文在构建深度极限学习机中采用ELM自动编码器（ELM autoencoder,ELM-AE）算法得到模型的权值和阈值，ELM-AE的结构如图2所示。自动编码器（auto encoder,AE）是以无监督的学习方式学习数据的特征，它是将输入的向量通过编码器映射到隐含层的特征向量，再由解码器将特征向量重新构造原来的输入向量。构建的ELM-AE使得隐含层节点随机权值和随机阈值正交，如果随机权重和随机阈值不是正交的，它也是能够有一个很好的特征表示作用，从而提高ELM-AE的泛化能力。在ELM-AE产生正交的随机权重和阈值为

式中：I是单位矩阵。

图2 ELM-AE结构
在ELM-AE中，输出权重β负责学习从特征空间到输入数据的转换。并且在传统的方法中，是根据最小二乘法求得权重系数，但是在隐含层节点数过多的情况下，这样会导致模型的泛化能力弱和鲁棒性差。所以在求解权重系数中引入正则化系数，提高模型的泛化能力，这里将目标函数设置为

式中：C为正则化参数。对于稀疏和压缩的ELM-AE表示，把公式中的β求导，并且让目标函数为0，这样求得输出权重β为

式中：H为ELM-AE的隐含层输出矩阵；X为ELM-AE的输入和输出。

对于输入维度等于编码维度的ELM-AE,ELM-AE的输出权重矩阵β代表着从输入特征空间的数据到隐含层特征空间的转换，则输出权重β的计算公式为

并且在DELM中ELM-AE能用奇异值（SVD）来表示其特征，所以式（5）的奇异值分解为

式中：u是HTH的特征向量；di是H的奇异值。

深度极限学习机从结构上看相当于把多个ELM连接到了一起，但它相对于ELM能更全面地捕捉到数据之间的映射关系并提高处理高维度输入变量的精确度。DELM是逐层通过ELM-AE进行无监督的训练学习，最后接入回归层进行监督训练。其DELM的结构如图3所示，假设模型有M个隐含层，将输入数据样本X根据ELM-AE理论得到第一个权重矩阵β1，接着得到隐含层的特征向量H1。以此类推，能够得到M层的输入权重矩阵βM和隐含层的特征向量HM。并且模型的前期是进行多层无监督的学习，不需要人为设置输入的权重和阈值，只要设置各层的隐含层的神经元个数，所以DELM拥有的学习过程快且泛化能力强的特点。

图3 DELM结构

⛄二、部分源代码

%% 基于秃鹰搜索算法优化的深度极限学习机DLM的预测算法
clear;clc;close all;
%% 导入数据
load data
%训练集——400个样本
P_train=input(:,(1:550));
T_train=output((1:550));
% 测试集——200个样本
P_test=input(:,(250:350));
T_test=output((250:350));
%% 归一化
% 训练集
[Pn_train,inputps] = mapminmax(P_train,0,1);
Pn_test = mapminmax(‘apply’,P_test,inputps);
% 测试集
[Tn_train,outputps] = mapminmax(T_train,0,1);
Tn_test = mapminmax(‘apply’,T_test,outputps);

%所有的数据输入类型应该为 N*dim，其中N为数据组数，dim为数据的维度
Pn_train = Pn_train’;
Pn_test = Pn_test’;
Tn_train = Tn_train’;
Tn_test = Tn_test’;

%% DELM参数设置
ELMAEhiddenLayer = [2,3];%ELM—AE的隐藏层数，[n1,n2,…,n],n1代表第1个隐藏层的节点数。
ActivF = ‘sig’;%ELM-AE的激活函数设置
C = inf; %正则化系数
%% 优化算法参数设置：
%计算权值的维度
dim = ELMAEhiddenLayer(1)*size(Pn_train,2);
if length(ELMAEhiddenLayer)>1
for i = 2:length(ELMAEhiddenLayer)
dim = dim + ELMAEhiddenLayer(i)*ELMAEhiddenLayer(i-1);
end
end
popsize = 20;%种群数量
Max_iteration = 50;%最大迭代次数
lb = -1;%权值下边界
ub = 1;%权值上边界
fobj = @(X)fun(X,Pn_train,Tn_train,Pn_test,Tn_test,ELMAEhiddenLayer,ActivF,C);
[Best_score,Best_pos,AO_cg_curve]=BES(popsize,Max_iteration,lb,ub,dim,fobj);
figure
plot(AO_cg_curve,‘k’,‘linewidth’,2)
xlabel(‘迭代次数’)
ylabel(‘适应度值’)
grid on
title(‘秃鹰搜索算法收敛曲线’)
%% 利用秃鹰获得的初始权重，进行训练
BestWeitht = Best_pos;
%DELM训练
OutWeight = DELMTrainWithInitial(BestWeitht,Pn_train,Tn_train,ELMAEhiddenLayer,ActivF,C);
%训练集测试结果
predictValueTrainAO = DELMPredict(Pn_train,OutWeight,ELMAEhiddenLayer);
% 反归一化
predictValueTrainAO = mapminmax(‘reverse’,predictValueTrainAO,outputps);
% 均方误差
Error1AO = (predictValueTrainAO’ - T_train);
MSE1AO = mse(Error1AO);
%测试集测试结果
predictValueTestAO = DELMPredict(Pn_test,OutWeight,ELMAEhiddenLayer);
% 反归一化
predictValueTestAO = mapminmax(‘reverse’,predictValueTestAO,outputps);
% 均方误差
Error2AO = (predictValueTestAO’ - T_test);
MSE2AO = mse(Error2AO);

%% 基础DELM训练
%DELM训练
OutWeight = DELMTrain(Pn_train,Tn_train,ELMAEhiddenLayer,ActivF,C);
%% 训练集测试结果
predictValueTrain = DELMPredict(Pn_train,OutWeight,ELMAEhiddenLayer);
% 反归一化
predictValueTrain = mapminmax(‘reverse’,predictValueTrain,outputps);
% 均方误差
Error1 = (predictValueTrain’ - T_train);
MSE1 = mse(Error1);

%% 测试集测试结果
predictValueTest = DELMPredict(Pn_test,OutWeight,ELMAEhiddenLayer);
% 反归一化
predictValueTest = mapminmax(‘reverse’,predictValueTest,outputps);
% 均方误差
Error2 = (predictValueTest’ - T_test);
MSE2 = mse(Error2);

%% 训练集结果画图
figure
plot(T_train,‘ms-’,‘linewidth’,2);
hold on
plot(predictValueTrainAO,‘co-’,‘linewidth’,2);
plot(predictValueTrain,‘r*-’,‘linewidth’,2);
grid on;
title(‘训练集结果’)
legend(‘真实值’,‘BES-DELM预测值’,‘DELM预测值’);
figure
hold on
plot(Error1,‘g-’,‘linewidth’,2);
plot(Error1AO,‘r-’,‘linewidth’,2);
legend(‘DELM误差’,‘BES-DELM误差’)
grid on;
title(‘训练集误差’)

%% 测试集结果画图
figure
plot(T_test,‘gs-’,‘linewidth’,2);
hold on
plot(predictValueTestAO,‘ko-’,‘linewidth’,2);
plot(predictValueTest,‘r*-’,‘linewidth’,2);
grid on;
title(‘测试集结果’)
legend(‘真实值’,‘BES-DELM预测值’,‘DELM预测值’);
figure
plot(Error2AO,‘g-’,‘linewidth’,2);
hold on
plot(Error2,‘r-’,‘linewidth’,2);
legend(‘BES-DELM误差’,‘DELM误差’)
title(‘测试集误差’)
grid on;

disp([‘DELM训练集MSE：’,num2str(MSE1)]);
disp([‘DELM测试集MSE：’,num2str(MSE2)]);
disp([‘BES_DELM训练集MSE：’,num2str(MSE1AO)]);
disp([‘BES_DELM测试集MSE：’,num2str(MSE2AO)]);

⛄三、运行结果

⛄四、matlab版本及参考文献

1 matlab版本
2014a

2 参考文献
[1]周莉,刘东,郑晓亮.基于PSO-DELM的手机上网流量预测方法[J].计算机工程与设计. 2021,42(02)

3 备注
简介此部分摘自互联网，仅供参考，若侵权，联系删除

🍅 仿真咨询
1 各类智能优化算法改进及应用
生产调度、经济调度、装配线调度、充电优化、车间调度、发车优化、水库调度、三维装箱、物流选址、货位优化、公交排班优化、充电桩布局优化、车间布局优化、集装箱船配载优化、水泵组合优化、解医疗资源分配优化、设施布局优化、可视域基站和无人机选址优化

2 机器学习和深度学习方面
卷积神经网络（CNN）、LSTM、支持向量机（SVM）、最小二乘支持向量机（LSSVM）、极限学习机（ELM）、核极限学习机（KELM）、BP、RBF、宽度学习、DBN、RF、RBF、DELM、XGBOOST、TCN实现风电预测、光伏预测、电池寿命预测、辐射源识别、交通流预测、负荷预测、股价预测、PM2.5浓度预测、电池健康状态预测、水体光学参数反演、NLOS信号识别、地铁停车精准预测、变压器故障诊断

3 图像处理方面
图像识别、图像分割、图像检测、图像隐藏、图像配准、图像拼接、图像融合、图像增强、图像压缩感知

4 路径规划方面
旅行商问题（TSP）、车辆路径问题（VRP、MVRP、CVRP、VRPTW等）、无人机三维路径规划、无人机协同、无人机编队、机器人路径规划、栅格地图路径规划、多式联运运输问题、车辆协同无人机路径规划、天线线性阵列分布优化、车间布局优化

5 无人机应用方面
无人机路径规划、无人机控制、无人机编队、无人机协同、无人机任务分配

6 无线传感器定位及布局方面
传感器部署优化、通信协议优化、路由优化、目标定位优化、Dv-Hop定位优化、Leach协议优化、WSN覆盖优化、组播优化、RSSI定位优化

7 信号处理方面
信号识别、信号加密、信号去噪、信号增强、雷达信号处理、信号水印嵌入提取、肌电信号、脑电信号、信号配时优化

8 电力系统方面
微电网优化、无功优化、配电网重构、储能配置

9 元胞自动机方面
交通流 人群疏散 病毒扩散 晶体生长

10 雷达方面
卡尔曼滤波跟踪、航迹关联、航迹融合