PLS中的权值和载荷

最新推荐文章于 2023-07-03 23:29:16 发布

billy145533

最新推荐文章于 2023-07-03 23:29:16 发布

阅读量2.8k

点赞数 1

本文链接：https://blog.csdn.net/billy145533/article/details/100085500

版权

偏最小二乘法专栏收录该内容

13 篇文章 28 订阅

订阅专栏

很多人学习PLS之前是从PCR入手的，我个人认为这是PLS不错的打开方式，PCR和PLS主要区别是两者在权值W的选择上有本质的区别。

PCR的权值选择是基于X本身的特征向量，而PLS则根据X‘Y的特征向量来选择。PLS早在80年代就已经提出来，当时计算特征向量并不像今天这么容易，随便调用一个SVD就行。当时求特征向量是通过幂法得到，所以，在PCR和PLS中都能找到NIPALS算法，这个迭代算法主要是用于计算特征向量。事实上，今天我们调用的SVD算法仍然是基于这种办法，只不过做了很多改进，我们也无需去关注算法的原理与细节，只要得到我们想要的结果即可。

我们都知道，PCR让人很舒服的地方在于权值和载荷是一样的，我们先看一些SVD分解

$\\A = U\Sigma V^T \\W = V \\T = AW = U\Sigma \\P = W \\TP^T =AWW^T=A$

W是酋矩阵，对于PCR来说，W是X的各个特征向量，同时它各个成分是相互正交，这就保证了每一个得分与后面残差保持了正交的关系。

对于任意 $t_i,t_j$ 都满足以下条件

$t_i^Tt_j = (Aw_i)^T (Aw_j)=w_i^TA^TAw_j$

由于V是 $A^TA$ 的特征向量

$A^TA = (U\Sigma V^T)^TU\Sigma V^T=V\Sigma ^2V^T$

由于W=V，则有

$A^TAw_i= \lambda_iw_i$

$t_i^Tt_j = w_i^TA^TAw_j = \lambda_jw_i^Tw_j=\left\{\begin{matrix} 1,i=j\\ 0,i\neq j \end{matrix}\right.$

$w_i$ 满足相互正交，且关于 $A^TA$ 共轭正交，这也保证了每一个得分与其之后的残差矩阵保持正交的关系。

然而对于PLS而言，就没那么幸运了。举例而言，PLS1为例， $w\propto X^Ty$ ,可以看出，这个权值其实正比于X和y的协方差，它基本上不是 $X^TX$ 的特征向量。说到这里，理由还并不充分。

因为对于PLS而言，

$t_i= E_{i-1}w_i$

姑且查看 $t_1,t_2$ 的关系

$t_1^Tt_2 = t_1^TX_1w_2=t_1^T(X_0-t_1w_1^T)w_2=w_1^TX_0^TX_0w_2$

从求权值的过程来看， $w_1,w_2$ 显然都不是 $X_0^TX_0$ 的特征向量，所以其正交的可能性不大，并非说一定不可能，由上式可以得到

$t_1^Tt_2 =(t_1^TX_0-t_1^Tt_1w_1^T)w_2$

欲令上式等于0，只要满足 $t_1^TX_0-t_1^Tt_1w_1^T=0$ ，由此得到 $w_1^T = t_1^TX_0/(t_1^Tt_1)$ ,是不是很眼熟，这不正是载荷p的转置吗。好了，上面说了这么多，就是为了说明为什么载荷不能直接用权值代替的原因，说得不是特别透彻，大致应该可以理解了。

那么p之间是否存在正交的关系呢，答案是否定的。对于不同的p向量，则有如下关系

$p_i^Tp_j =(E_{i-1}^Tt_i)/(t_i^Tt_i))^TE_{j-1}^Tj_i)/(t_j^Tt_j)$

我们只需要观察 $t_i^TE_{0}E_{0}^Tt_j$ 是否为0，从形式来看，t显然不是 $E_{0}E_{0}^T$ 的特征向量，所以难以保证上式为0，但并非说一定不为0

由于t一直在E0的列空间内，所以t在E0空间上的投影还是自身，因此有

$t_i^TE_{0}(E_{0}E_{0}^T)^-E_{0}^Tt_j=t_i^Tt_j=0$

由此可以推得

$p_i^T(E_{0}E_{0}^T)^-p_j=0$

p关于 $(E_{0}E_{0}^T)^-$ 空间是正交的，也称为共轭正交

到了这里，我们对于p和w之间已经有了不少的认识，下面总结一下p和w之间的关系

$p_i^Tw_i^ = t_i^TE_{i-1}w_i/(t_i^Tt_i)=t_i^Tt_i/(t_i^Tt_i)=1$

当i相同时，p在w上投影值为单位长度1，注意到 $w_i^Tw_i^ =1$ ,这二者存在什么关系呢

将p分解为w的投影部分和正交部分 $p = p_w+p_o$

计算p的投影部分 $p _w= p^Tw/(w^Tw)*w = w$ ,由此可见，p包含了两部分内容，正交部分刚好弥补了w的不足

在展开w和p的关系前，先讨论了一下E和w之间的关系

$\\E_i = E_{i-1} -t_ip_i^T \\E_iw_i = E_{i-1}w_i -t_ip_i^Tw_i = t_i-t_i = 0$

对于任意j>i

$\\E_j = E_{j-1} -t_{j}p_{j}^T=(I-t_jt_j^T/(t_j^Tt_j))E_{j-1} =\prod_{d=i}^{j}(I-t_dt_d^T/(t_d^Tt_d))E{i-1}$

$(I-t_dt_d^T/(t_d^Tt_d))E_{d-1}*w_d = t_d - t_d = 0$

由上述可以得到

$\\E_jw_i= 0,j>=i$

有了这些信息，后面可以就p和w之间接着展开讨论

$p_j^Tw_i = t_j^TE_{j-1}w_i/(t_i^Tt_i)$

当j>i时，则有

$p_j^Tw_i = 0$

也就是说权值w与后续的载荷p是其正交的。w和p的关系就说到这里了，以后有想到再补充。

后记: 经过一段时间对PLS的继续学习,理解更加深入后,对w和p重新做了一段整理,详情见该文章

https://blog.csdn.net/billy145533/article/details/103482611

参考

主元分析与偏最小二乘法

billy145533

关注

1
点赞
踩
10

收藏

觉得还不错? 一键收藏
4
评论
PLS中的权值和载荷

很多人学习PLS之前是从PCR入手的，我个人认为这是PLS不错的打开方式，PCR和PLS主要区别是两者在权值W的选择上有本质的区别。PCR的权值选择是基于X本身的特征向量，而PLS则根据X‘Y的特征向量来选择。PLS早在80年代就已经提出来，当时计算特征向量并不像今天这么容易，随便调用一个SVD就行。当时求特征向量是通过幂法得到，所以，在PCR和PLS中都能找到NIPALS算法，这个迭代算法主...
复制链接

扫一扫