偏最小二乘回归分析原理详解
- 背景
- 偏最小二乘回归分析 Partial least squares regression analysis
-
- 基本思想
- 建模步骤
-
- 步骤一:分别提取两变量组的第一对成分,并使之相关性达最大
- 步骤二:建立 y 1 , ⋯ , y p \boldsymbol{y}_{1}, \cdots, \boldsymbol{y}_{p} y1,⋯,yp 对 u 1 \boldsymbol{u}_{1} u1 的回归及 x 1 , ⋯ , x m \boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{m} x1,⋯,xm 对 u 1 \boldsymbol{u}_{1} u1 的回归
- 用残差阵 A 1 A_{1} A1 和 B 1 B_{1} B1 代替 A A A 和 B B B 重复以上步骤
- 步骤四:建立成分数为 r r r个的回归模型
- 步骤五:交叉有效性检验。
- Matlab偏最小二乘回归命令plsregress
- 实例分析
背景
在实际问题中,经常遇到需要研究两组多重相关变量间的相互依赖关系,并研究用一组变量(常称为自变量或预测变量)去预测另一组变量(常称为因变量或响应变量),除了最小二乘准则下的经典多元线性回归分析(MLR),提取自变量组主成分的主成分回归分析(PCR)等方法外,还有近年发展起来的偏最小二乘(PLS)回归方法。
偏最小二乘回归提供一种多对多线性回归建模的方法,特别当两组变量的个数很多,且都存在多重相关性,而观测数据的数量(样本量)又较少时,用偏最小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。
偏最小二乘回归分析在建模过程中集中了主成分分析,典型相关分析和线性回归分析方法的特点,因此在分析结果中,除了可以提供一个更为合理的回归模型外,还可以同时完成一些类似于主成分分析和典型相关分析的研究内容,提供一些更丰富、深入的信息。
本文介绍偏最小二乘回归分析的建模方法;通过例子从预测角度对所建立的回归模型进行比较。
偏最小二乘回归分析 Partial least squares regression analysis
基本思想
考虑 p