偏最小二乘法中的权值w和载荷p

先介绍一下奇异值分解，也称为谱分解
$$A=U\Sigma V^T$$
这里$U$称为左奇异向量，$V$称为右奇异向量，$\Sigma$为奇异矩阵。
奇异值分解常常用来做低秩逼近，也就是保留最大的前r个奇异值以及特征向量，作为在秩为r时的最佳逼近
$$\begin{gathered} T=AV=U\Sigma =[t_1,\dots ,t_r] \\ {A}_r=t_1{v}_1^T+\cdots +t_r{v}_r^T={\lambda }_1{u}_1{v}_1^T+\cdots +{\lambda }_r{u}_r{v}_r^T \end{gathered}$$
$\lambda$为奇异值，$T$为得分矩阵，我们可以看到奇异分解的特殊性，那就是V即使权值矩阵，又是载荷矩阵，这是因为V满足如下特点
$$v_i^T{v}_j=\{\begin{array}{cc}0& i\ne j\\ 1& i=j\end{array}{v}_i^T{A}^{T}A{v}_j=\{\begin{array}{cc}0& i\ne j\\ {\lambda }_i^2& i=j\end{array}$$
由此，我们可以看到，当$i\ne j,v_i^T{v}_j=v_i^T{A}^{T}A{v}_j=t_i^T{t}_j=0$,$v_i$和$v_j$既正交又共轭。

好了，下面可以看看偏最小二乘法的w和p,为何两者是不同呢，原因是如果w=p，那么无法保证$t_i$和$t_j$正交
以下均假定$i\ne j$
为了简化问题，只讨论在单变量的情况,存在如下关系
$$\begin{gathered} w_i=X_{i-1}^{T}y/||X_{i-1}^{T}y|| \\ {t}_i=X_{i-1}{w}_i \\ {w}_i^T{w}_j=0 \end{gathered}$$
假设$w=p$,则有$X_i=X_{i-1}-t_i{w}_i^T$
考查$t_1$和$t_2$之间的关系
$$t_1^T{t}_2=w_1^T{X}_0^T{X}_1{w}_2=w_1^T{X}_0^T(X_0-t_1{w}_1^T)w_2=w_1^T{X}_0^T{X}_0{w}_2$$
按照前面的讨论，如果$w_1$和$w_2$属于$X_0^T{X}_0$的特征向量的话，那么没问题。但是显然根据$w_i$的生成方式，并不满足这个条件。所以不能以此作为载荷。
按照最小二乘法得到$p_i=X_{i-1}^T\ast t_i/(t_i^T{t}_i)$
那么有
$$p_i^T{w}_i=t_i^T{X}_{i-1}\ast w_i/(t_i^T{t}_i)=1$$
由于$w_i$是单位向量，这意为着$p_i$在$w_i$上的投影为1，所有$p_i=w_i+w_i^{\perp }$,$w_i^{\perp }$表示正交于$w_i$的部分，这部分内容的增加使得$t_i$和$t_j$正交成立。