部分最小二乘--PLS

Why

和岭回归要解决的问题一样，同样是多重共线性导致的$R$接近奇异使得$||\beta||$的估算值$||\hat{\beta}||$过大。

What

定$(Y_i, x_i)$是第i个样本, $x_i$是p维存在严重多重共线性(其实就是自变量有相关性，极端情况是线性代数里的线性相关)。和岭回归一样，首先做standardized（去中心干掉了截距，scale使得$\beta$具有可比性；和correlation transformation不同的是后者还需要除个n-1, 目标是为了减少高次项和低次项之间的关联）。再把$x_i$变形成内部独立的$z_i$. 换句话说我们要找到$f_1, ... f_p$使得$z_{i1}, ... z_{ip}$相互独立，其中$z_{i1} = f_1^Tx_i, ... ,z_{ip} = f_p^Tx_i$。然后我们再放心的用$Y$对$Z$做线性回归即可。
因为$z_i$内部是独立的，做线性回归时我们甚至可以让$Y$分别对$z_{i1}, ... z_{ip}$做回归而不会影响它们的系数。$z_{i1}, ... z_{ip}$称作PLS的成分(components).

主成分回归(PCR)和PLS一脉传承，只是找$f_1, ... f_p$方法不同。PCR对$X^TX$做谱分解找出特征值并利用特征值构建$z$。在此过程中并没有考虑$Y$和$X$的关系，而PLS考虑了$Y$和$X$的。因此PLS存在一个顺序，使得 zi1</