【XGBoost回归预测】向量加权平均算法INFO优化XGBoost数据回归预测【含Matlab源码 3261期】

最新推荐文章于 2024-03-06 19:18:35 发布

Matlab武动乾坤

最新推荐文章于 2024-03-06 19:18:35 发布

阅读量206

点赞数

分类专栏： Matlab神经网络预测与分类（中级版）文章标签： matlab

本文链接：https://blog.csdn.net/KeepingMatlab/article/details/134192388

版权

Matlab神经网络预测与分类（中级版）专栏收录该内容

253 篇文章 6 订阅

订阅专栏

⛄一、运行结果

在这里插入图片描述

✅博主简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，Matlab项目合作可私信。
🍎个人主页：海神之光
🏆代码获取方式：
海神之光Matlab王者学习之路—代码获取方式
⛳️座右铭：行百里者，半于九十。

⛄二、向量加权平均算法INFO优化XGBoost简介

1 向量加权平均算法
向量加权平均算法（INFO）是一种新型的智能优化算法，它通过不同的向量加权平均规则来实现寻优目的。该算法具有寻优能力强、收敛速度快等特点。在算法中，通过三个加权函数来计算向量的加权平均值，以便在解空间中进行全局搜索。同时，该算法还包括初始化、更新规则阶段、向量合并阶段和局部搜索阶段等步骤。该算法的实验结果表明，INFO算法在多个测试函数上的表现都非常优秀。

2 向量加权平均算法INFO优化XGBoost
向量加权平均算法INFO是一种基于向量加权平均的集成学习算法，它可以将多个模型的预测结果进行加权平均，以得到更准确的预测结果。在XGBoost中，我们可以使用INFO算法来对多个XGBoost模型的预测结果进行加权平均，以提高回归预测的准确性。INFO算法的基本思想是将多个模型的预测结果转化为向量形式，然后对这些向量进行加权平均，以得到最终的预测结果。在XGBoost中，我们可以使用INFO算法来对多个XGBoost模型的预测结果进行加权平均，以提高回归预测的准确性。具体来说，INFO算法可以通过以下步骤来实现XGBoost的优化：
1、训练多个XGBoost模型，得到它们的预测结果。
2、将每个模型的预测结果转化为向量形式。
3、对每个向量进行加权，得到加权后的向量。
4、将所有加权后的向量进行加和，得到最终的预测结果。
使用INFO算法可以有效地提高XGBoost在回归预测任务中的准确性，特别是在处理大规模数据集时。同时，INFO算法也可以应用于其他机器学习算法的优化中。

⛄三、部分源代码

%% 清空环境变量
warning off % 关闭报警信息
close all % 关闭开启的图窗
clear % 清空变量
clc % 清空命令行

%% 读取数据
Data=xlsread(‘traindata.xlsx’);
input=Data(:,2:end);
output=Data(:,1);
num=length(output);%样本量

%% 数据集切分
c = cvpartition(num,‘HoldOut’,0.20);
trainingIndices = training©; % 训练集索引
testIndices = test©; % 测试集索引
XTrain = input(trainingIndices,:);
YTrain = output(trainingIndices);
XTest = input(testIndices,:);
YTest = output(testIndices);
% 训练集数量
M = size(YTrain,1);
P_train=XTrain’;
T_train=YTrain’;
% 测试集数量N
N = size(YTest,1);
P_test=XTest’;
T_test=YTest’;

%% 数据归一化
[p_train, ps_input] = mapminmax(P_train, 0, 1);%将训练集和测试集的数据调整到0到1之间
p_test = mapminmax(‘apply’, P_test, ps_input);

[t_train, ps_output] = mapminmax(T_train, 0, 1);% 对测试集数据做归一化
t_test = mapminmax(‘apply’, T_test, ps_output);

%% 数据转置为适应模型的建立
p_train = p_train’; p_test = p_test’;
t_train = t_train’; t_test = t_test’;

%% 参数设置
fun = @getObjValue; % 目标函数
dim = 3; % 优化参数个数
lb = [001, 001, 0.01]; % 优化参数目标下限（最大迭代次数，深度，学习率）
ub = [100, 20, 1]; % 优化参数目标上限（最大迭代次数，深度，学习率）
pop = 30; % 数量
Max_iteration = 10; % 最大迭代次数
params.objective = ‘reg:linear’; % 回归函数

%% 优化算法
[Best_score,Best_pos, curve] =INFO(pop, Max_iteration, lb, ub, dim, fun);

%% 获取最优参数
num_trees = Best_pos(1, 1); % 迭代次数
%params.max_depth = Best_pos(1, 2); % 树的深度
params.max_depth = 18; % 树的深度
params.eta = Best_pos(1, 3); % 学习率

%% 建立模型
model = xgboost_train(p_train, t_train, params, num_trees);

%% 预测
t_sim1 = xgboost_test(p_train, model);
t_sim2 = xgboost_test(p_test , model);

%% 数据反归一化
T_sim1 = mapminmax(‘reverse’, t_sim1’, ps_output);
T_sim2 = mapminmax(‘reverse’, t_sim2’, ps_output);

%% V. 评价指标
%% 均方根误差 RMSE
error1 = sqrt(sum((T_sim1 - T_train).^2)./M);
error2 = sqrt(sum((T_test - T_sim2).^2)./N);

%% 决定系数
R1 = rsquare(T_train,T_sim1);
R2 = rsquare(T_test,T_sim2);

%% 均方误差 MSE
mse1 = sum((T_sim1 - T_train).^2)./M;
mse2 = sum((T_sim2 - T_test).^2)./N;
%% RPD 剩余预测残差
SE1=std(T_sim1-T_train);
RPD=std(T_train)/SE1;

SE=std(T_sim2-T_test);
RPD1=std(T_test)/SE;
%% 平均绝对误差MAE
MAE1 = mean(abs(T_train - T_sim1));
MAE2 = mean(abs(T_test - T_sim2));
%% 平均绝对百分比误差MAPE
MAPE1 = mean(abs((T_train - T_sim1)./T_train));
MAPE2 = mean(abs((T_test - T_sim2)./T_test));

%% 适应度曲线
figure
plot(1 : length(curve), curve, ‘LineWidth’, 1.5);
title(‘INFO适应度变化曲线’, ‘FontSize’, 13);
xlabel(‘迭代次数’, ‘FontSize’, 10);
ylabel(‘适应度值’, ‘FontSize’, 10);
grid on

%% 训练集绘图
figure
plot(1:M,T_train,‘.-’,‘Color’,[0 0 1],‘LineWidth’,1.5,‘MarkerSize’,20)
hold on
plot(1:M,T_sim1,‘–d’,‘Color’,[1 0 0],‘LineWidth’,1.5,‘MarkerFaceColor’,[1 0 0])
legend(‘真实值’,‘预测值’)
xlabel(‘预测样本’)
ylabel(‘预测结果’)
string={‘训练集预测结果对比’;[‘(R^2 =’ num2str(R1) ’ RMSE= ’ num2str(error1) ’ MSE= ’ num2str(mse1) ’ RPD= ’ num2str(RPD) ‘)’ ]};
title(string)
%% 预测集绘图
figure
plot(1:N,T_test,‘.-’,‘Color’,[0 0 1],‘LineWidth’,1.5,‘MarkerSize’,20)
hold on
plot(1:N,T_sim2,‘–d’,‘Color’,[1 0 0],‘LineWidth’,1.5,‘MarkerFaceColor’,[1 0 0])
legend(‘真实值’,‘预测值’)
xlabel(‘预测样本’)
ylabel(‘预测结果’)
string={‘测试集预测结果对比’;[‘(R^2 =’ num2str(R2) ’ RMSE= ’ num2str(error2) ’ MSE= ’ num2str(mse2) ’ RPD1= ’ num2str(RPD1) ‘)’]};
title(string)

%% 打印出评价指标
disp(‘-----------------------误差计算--------------------------’)
disp(‘INFO-XGboost训练集的评价结果如下所示：’)
disp([‘平均绝对误差MAE为：’,num2str(MAE1)])
disp(['均方误差MSE为： ',num2str(mse1)])
disp(['均方根误差RMSEP为： ',num2str(error1)])
disp(['决定系数R^2为： ',num2str(R1)])
disp(['剩余预测残差RPD为： ',num2str(RPD)])
disp([‘平均绝对百分比误差MAPE为： ‘,num2str(MAPE1)])
disp(’-----------------------误差计算--------------------------’)
disp(‘INFO-XGboost预测集的评价结果如下所示：’)
disp([‘平均绝对误差MAE为：’,num2str(MAE2)])
disp(['均方误差MSE为： ',num2str(mse2)])
disp(['均方根误差RMSEP为： ',num2str(error2)])
disp(['决定系数R^2为： ',num2str(R2)])
disp(['剩余预测残差RPD为： ',num2str(RPD1)])
disp(['平均绝对百分比误差MAPE为： ',num2str(MAPE2)])

⛄四、matlab版本及参考文献

1 matlab版本
2014a

2 参考文献
[1]朱静, 李晓燕, 程银金. 基于改进的LSTM模型的时序时间序列数据预测研究[J]. 系统工程与电子技术, 2019, 41(9): 2020-2027.
[2]张宇, 张文建, 郭媛媛, 等. 基于NGO-LSTM的时序时间序列数据预测方法[J]. 计算机科学, 2018, 45(10): 187-191.
[3]张琳, 王鹏飞. 长短时记忆神经网络在时序时间序列数据预测中的应用研究[J]. 控制与决策, 2017, 32(12): 2273-2279.
[4]林小明, 张红. 基于NGO-LSTM的时序数据预测方法[J]. 计算机应用与软件, 2016, 33(11): 265-269.
[5]李文勇, 张洪峰. 基于NGO-LSTM的时序时间序列数据预测方法[J]. 计算机应用研究, 2016, 33(4): 1114-1116.

3 备注
简介此部分摘自互联网，仅供参考，若侵权，联系删除

🍅 仿真咨询
1 各类智能优化算法改进及应用
生产调度、经济调度、装配线调度、充电优化、车间调度、发车优化、水库调度、三维装箱、物流选址、货位优化、公交排班优化、充电桩布局优化、车间布局优化、集装箱船配载优化、水泵组合优化、解医疗资源分配优化、设施布局优化、可视域基站和无人机选址优化

2 机器学习和深度学习方面
卷积神经网络（CNN）、LSTM、支持向量机（SVM）、最小二乘支持向量机（LSSVM）、极限学习机（ELM）、核极限学习机（KELM）、BP、RBF、宽度学习、DBN、RF、RBF、DELM、XGBOOST、TCN实现风电预测、光伏预测、电池寿命预测、辐射源识别、交通流预测、负荷预测、股价预测、PM2.5浓度预测、电池健康状态预测、水体光学参数反演、NLOS信号识别、地铁停车精准预测、变压器故障诊断

3 图像处理方面
图像识别、图像分割、图像检测、图像隐藏、图像配准、图像拼接、图像融合、图像增强、图像压缩感知

4 路径规划方面
旅行商问题（TSP）、车辆路径问题（VRP、MVRP、CVRP、VRPTW等）、无人机三维路径规划、无人机协同、无人机编队、机器人路径规划、栅格地图路径规划、多式联运运输问题、车辆协同无人机路径规划、天线线性阵列分布优化、车间布局优化

5 无人机应用方面
无人机路径规划、无人机控制、无人机编队、无人机协同、无人机任务分配

6 无线传感器定位及布局方面
传感器部署优化、通信协议优化、路由优化、目标定位优化、Dv-Hop定位优化、Leach协议优化、WSN覆盖优化、组播优化、RSSI定位优化

7 信号处理方面
信号识别、信号加密、信号去噪、信号增强、雷达信号处理、信号水印嵌入提取、肌电信号、脑电信号、信号配时优化

8 电力系统方面
微电网优化、无功优化、配电网重构、储能配置

9 元胞自动机方面
交通流人群疏散病毒扩散晶体生长

10 雷达方面
卡尔曼滤波跟踪、航迹关联、航迹融合