xgboost回归预测模型_偏最小二乘回归分析法从预测角度对所建立的回归模型进行比较...

最新推荐文章于 2024-09-09 20:20:55 发布

weixin_39765869

最新推荐文章于 2024-09-09 20:20:55 发布

阅读量1.8k

点赞数

文章标签： xgboost回归预测模型偏最小二乘回归分析

本文链接：https://blog.csdn.net/weixin_39765869/article/details/111290358

版权

本文探讨了在数据预测中，偏最小二乘回归(PLS)和XGBoost回归模型的使用。PLS是一种适用于变量多且相关性强、样本量较小的情况的建模方法，它结合了主成分分析和线性回归的特点。通过提取成分并建立回归模型，PLS能提供更丰富的信息。文章介绍了PLS的建模步骤，包括最大化相关性和交叉有效性检验。XGBoost回归预测模型则在现代机器学习中广泛应用，以其高效和准确预测能力著称。文章旨在从预测角度对比这两种方法的优劣。

摘要由CSDN通过智能技术生成

在实际问题中，经常遇到需要研究两组多重相关变量间的相互依赖关系，并研究用一组变量(常称为自变量或预测变量)去预测另一组变量(常称为因变量或响应变量)，除了最小二乘准则下的经典多元线性回归分析(MLR)，提取自变量组主成分的主成分回归分析(PCR)等方法外，还有近年发展起来的偏最小二乘(PLS)回归方法。

偏最小二乘回归提供一种多对多线性回归建模的方法，特别当两组变量的个数很多，且都存在多重相关性，而观测数据的数量(样本量)又较少时，用偏最小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。偏最小二乘回归分析在建模过程中集中了主成分分析，典型相关分析和线性回归分析方法的特点，因此在分析结果中，除了可以提供一个更为合理的回归模型外，还可以同时完成一些类似于主成分分析和典型相关分析的研究内容，提供更丰富、深入的一些信息。

今天我们学习偏最小二乘回归分析的建模方法；通过例子从预测角度对所建立的回归模型进行比较。

偏最小二乘回归

考虑 p 个变量 y₁ , y₂ ,... , y_p " 与 m 个自变量 x₁ , x₂ ,... , x_m " 的建模问题。

偏最小二乘回归的基本作法是首先在自变量集中提出第一成分 t₁ ( t₁ 是 x₁ ,... , x_m" 的线性组合，且尽可能多地提取原自变量集中的变异信息)；同时在因变量集中也提取第一成分u1 ，并要求 t₁与 u₁ 相关程度达到最大。然后建立因变量 y₁, ..., y_p与 t₁的回归，如果回归方程已达到满意的精度，则算法中止。否则继续第二对成分的提取，直到能达到满意的精度为止。若最终对自变量集提取 r 个成分 t₁ ,t₂ ,... ,t_r ，偏最小二乘回归将通过建立 y₁ ,... , y_p与 t₁ ,t₂ ,... ,t_r 的回归式，然后再表示为 y₁ ,... , y_p " 与原自变量的回归方程式，即偏最小二乘回归方程式。