偏最小二乘

偏最小二乘

在B站看到一个UP讲偏最小二乘讲的很好，看完将笔记写在这里。视频地址：https://www.bilibili.com/video/BV1oE411K7fT?p=1

数据：$X_{n\ast p}$ , $y_{n\ast 1}$

1. $X_i(i=1,2,\cdots p)$与 y做回归，将得到的p个回归采用加权的形式加起来，记为$t_1$：$$t_1=\sum _{i=1}^p{X}_i^{T}y{X}_i$$
2. 用$t_1$做自变量，y做因变量进行回归，得到$y$的残差$r=y-\hat{y}$
3. 用$t_1$做自变量，$X_i(i=1,2,\cdots p)$做因变量进行回归, 得到$X_i$的残差$r_{X_i}=X_i-\widehat{X_i}(i=1,2,\cdots p)$
4. 用$r$和$r_{X_i}$分别作为$y$和$X$重复进行1,2,3步骤得到$t_2$
5. 继续重复以上步骤得到$t_m$，$m$小于$p$，当$m=p$时即为普通最小二乘
6. 用$t_j(j=1,2,\cdots m)$和$y$做回归，即偏最小二乘

先简单写一下算法过程，后续再补充…