PLSR（偏最小二乘回归浅析）

英文原文：Partial Least Squares (PLS) Regression.
相关博客：偏最小二乘回归

问题描述：

在实际问题中，经常会有多维回归预测问题，最小二乘法求解$\theta = (X^T X)^{-1} X^TY$： 对于样本数m比样本的维度n要少的情况时， $X^T X$为奇异矩阵，方程将有无穷多解，此时无法求解出实际的正确解。此时可以根据数据之间的相关性进行降维，主成分分析（PCA）是一种普遍利用的方法，不过在有标签并且要做回归的情况下，PLS更加适合此类问题。

算法步骤

首先定义数据 ,假设已经获得了归一化之后的数据以及对应的标签
$X_0=\begin{bmatrix} x_{11}&x_{12} &...&x_{1m}\\ x_{21}&x_{22} &...&x_{2m}\\ ...& ...& ...& ...&\\ x_{n1}&x_{n2} &...&x_{nm}\\ \end{bmatrix},Y_0=\begin{bmatrix} y_{11}&y_{12} &...&y_{1p}\\ %第一行元素 y_{21}&y_{22} &...&y_{2p}\\ %第一行元素 ...& ...& ...& ...&\\ y_{n1}&y_{n2} &...&y_{np}\\ %第一行元素 \end{bmatrix}$

其中，样本数量为n个，X为m维数据，Y为p维标签
偏最小二乘回归分析建模的具体步骤如下：

分别提取两变量组的第一对线性组合组成的向量：

这里不用得分向量那种大部分文献常用的方法，来说一种比较简洁的计算方法，直接在数据矩阵当中提取主成分，
$t_1=x_{1}w_{11}+...+x_{m}w_{1n}=Xw_1,X=(x_1,...,x_m)$
$u_1=y_{1}v_{11}+...+y_{p}v_{1p}=Yv_1, Y=(y_1,...,y_p)$
$t_1$是m个n维的数据向量（列向量）的线性组合(每一个向量长度为样本数量)， $u_1$是p个n维的标签列向量的线性组合，其中$w_1$,$v_1$为单位向量，各自尽可能多地体现其组成成分的信息。
另 $t_1$ 和$u_1$ 的相关程度达到最大
问题化为求单位向量$w_1$,$v_1$，,使 $\theta=w_1^TX^TYv_1$达到最大。

$$\left\{ \begin{aligned} max :&<t_1,u_1> = <Xw_1,Yv_1>=w_1^TX^TYv_1\\ w_1^Tw_1 &=\Vert w_1\Vert ^2 =1 , v_1^Tv_1=\Vert v_1\Vert ^2 =1 \end{aligned} \right.$$
根据PCA原理 $X^TY$的主成分，就是计算 $X^TY$的协方差矩阵 $M=X^TYY^TX$的特征值和特征向量，源矩阵和转置矩阵的特征值相同（这里求 $M=Y^TXX^TY$是一样的，特征值相同，只是特征向量差了乘 $Y^TX$的线性变换）
$M$的最大特征值为$\theta^2$,相应的单位特征向量就是所求的 $w_1$, $v_1$可以通过 $w_1$计算 $v_1= \dfrac{1}{\theta_1}Y^TXw_1$

建立回归

建立$Y=(y_1,...,y_p)$对$t_1$的回归及$X=(x_1,...,x_m)$对$t_1$的回归模型：

$$\left\{ \begin{aligned} X_0 &=t_1\alpha_1+X_1\\ Y_0 &=t_1\beta_1+Y_1 \end{aligned} \right.$$
由于 和 相关性上已经达到最大化（ $t_1$≈ $u_1$），这里使用 $t_1$替换 $u_1$对Y进行回归，从而之后间接用X的成分对Y进行回归。其中 $\alpha_1=(\alpha_{11},...,\alpha_{1m}),\beta_1=(\beta_{11},...,\beta_{1p})$分别是多对一的回归模型中的参数向量， $X_1$和 $Y_!$是残差阵。回归系数向量 $\alpha$, $\beta$的最小二乘估计为
$$\left\{ \begin{aligned} \alpha _1&=\dfrac{t_1^TX_0}{\Vert t_1\Vert ^2}\\ \beta_1&=\dfrac{t_1^TY_0}{\Vert t_1\Vert ^2} \end{aligned} \right.$$

迭代

如果残差范数不满足要求的阈值，则用残差阵$X_1$和$Y_!$代替$X_0$和$Y_0$重复以上步骤。
$w_2=(w_{21},...,w_{2m}),v_2=(v_{21},...,v_{2p})$分别为第二对单位向量。
$t_2=Xw_2 , u_2=Yv_2$第二对成分的线性组合。
$\beta_2=\dfrac{t_2^TY_1}{\Vert t_2\Vert ^2}$,$\beta_2=\dfrac{t_2^TY_1}{\Vert t_2\Vert ^2}$分别为 X ,Y 的回归模型中第二对成分的参数向量，这时可以得到：

$$\left\{ \begin{aligned} X_0 &=t_1\alpha_1+t_2\alpha_2+X_2\\ Y_0 &=t_1\beta_1+t_2\beta_2+Y_2 \end{aligned} \right.$$
误差矩阵的范数满足一定条件则可以停止，最多可以存在r个成分X（数据阵）的秩
$$\left\{ \begin{aligned} X_0 &=t_1\alpha_1+t_2\alpha_2+...+t_r\alpha_r+X_r\\ Y_0 &=t_1\beta_1+t_2\beta_2+...+t_r\beta_r+Y_r \end{aligned} \right.$$

这里与PCA中表达式不一样的是这里成分向量之间没有正交的要求。

最后

将
$t_k=Xw_k=x_{1}w_{k1}+...+x_{m}w_{kn},k=(1,2,...,r)$
带入到
$Y_0 =t_1\beta_1+t_2\beta_2+...+t_r\beta_r$
当中。即可得到p个标签的偏最小二乘回归方程。
$Y_0 =Xw_1\beta_1+Xw_2\beta_2+...+Xw_r\beta_r +Y_r=Xp_1+Xp_2+...+Xp_r$
$p_k=w_k\beta_k$,$k=(1,...r)$