偏最小二乘法基本性质推导

最新推荐文章于 2024-06-25 01:10:41 发布

billy145533

最新推荐文章于 2024-06-25 01:10:41 发布

阅读量2.9k

点赞数 1

分类专栏：偏最小二乘法

本文链接：https://blog.csdn.net/billy145533/article/details/90438581

版权

偏最小二乘法专栏收录该内容

13 篇文章 32 订阅

订阅专栏

为了加深对偏最小二乘法的理解，有必要理解其基本的性质，才能更好理解它整个过程。根据前面的文章，我们可以知道以下基本公式，这些是后续推导的基石，离开了这些，就像<<围城>>里面说的，彷佛要在半空造房子。

基本公式

$\dpi{120} \bg_white \fn_jvn \\v_n =F^T_nE_nw_n /\lambda \\ t_n =E_nw_n \\u_n = F_nv_n \\ p_n = \frac{E_n^Tt_n}{\left \| t_n \right \|^2} \\ q_n= \frac{F_n^Tt_n}{\left \| u_n \right \|^2}\\ r_n = \frac{F_n^Tt_n}{\left \| t_n \right \|^2} \\E_{n+1} = E_{n} - t_np_n^T \\F_{n+1} = F_{n} - t_nr_n^T$

根据 $E^TFF^TEw=\lambda ^2 w$ ，w为其最大特征值对应的特征向量，同理得到v

基本性质推导

性质一

$\\v_n =F^T_nE_nw_n /\lambda = F^T_nt_n /\lambda \\w_n = E^T_nF_nv_n /\lambda = E^T_nu_n /\lambda$

性质二成分t与其下级残差正交，对于任意n，则有

$t_n^TE_{n+1} = 0$

$\\ t_n^TE_{n+1} = t_n^T(E_n-t_np_n^T)\Rightarrow \\ t_n^TE_n-t_n^Tt_n\frac{t_n^TE_n}{\left \| t_n \right \|^2} = 0$

想一下这条公式的几何意义，p是怎么计算的

$p_n = \frac{E_n^Tt_n}{\left \| t_n \right \|^2}$

将E的各条边投影到的t的单位向量上，各长度构成p

令e为 E_n 上的任意一列，将e 按照t方向和t正交方向N做分解

$\\e = e_t+e_N \\e_N*t = 0$

跟据 $E_{n+1}$ 的计算公式，我们可以知道，其对应的一列则为 e_N ，必然与tn正交

性质三各级成分t相互正交，对于任意i不等于j，则有

t_i^T*t_j = 0

t_1^T*t_2 = t_1^T(E_2*w_2) = (t_1^TE_2)w_2 = 0

利用数据归纳法，假设 t_1,...,t_n 相互正交，那么只要证明 $t_{n+1}$ 与前面的相互正交即可

$\\t_n^T*t_{n+1} = t_n^T(E_{n+1}*w_{n+1}) = 0 \\t_{n-1}^T*t_{n+1} = t_{n-1}^T(E_n-t_np_n^T)w_{n+1} =0\\...$

依次类推可以得到 $t_{n+1}$ 与其他各成分都正交。在几何意义上，我们在性质二已经得到，每次E会将自身的成分，按列分为t的方向和其正交做分解，提取t方向，剩余t的正交方向作为残差，这一点保证了t成分之间不可能会有交集。即使w不正交，也不会影响t的正交。成分正交给回归带来一个好处，避免了多重共线的问题，

性质四 t与后续的残差均正交

根据性质二，则有 $t_n^TE_{n+1} = 0$

$\\t_n^TE_{n+2} =t_n^T(E_{n+1} -t_{n+1}p_{n+1}^T) = 0 \\t_n^TE_{n+3} =t_n^T(E_{n+2} -t_{n+2}p_{n+2}^T) = 0 \\...$

知道残差矩阵，提取了t的正交方向的信息，那么t与后续残差矩阵的正交性质就容易理解

性质五 p是t关于E的回归系数，p与w的关系

$w^T*p =w^T\frac{E^Tt}{\left \| t \right \|^2} =\frac{w^TE^TEw}{\left \| t \right \|^2}= \frac{t^Tt}{\left \| t \right \|^2} = 1$

貌似很熟悉，但遗憾的是，w和p不大会相等。w并非E的特征向量，所以能并不保证从E中取出最大的信息

性质六

投影轴w与后续残差正交,对于j大于i，满足

E_jw_i =0

$\\ E_{i+1} w_i=(E_i-t_ip_i^T)w_i = (E_i-t_it_i^TE_i/\left \| t_i \right \|^2)*w_i\\ =t_i-t_i = 0 \\ E_{i+1} w_i=(E_i-t_ip_i^T)w_i = (E_i-t_it_i^TE_i/\left \| t_i \right \|^2)*w_i\\ =t_i-t_i = 0 \\ E_{i+2} w_i=(E_{i+1}-t_{i+1}p_{i+1}^T)w_i = (E_{i+1}*w_i-t_it_i^TE_{i+1}w_i/\left \| t_i \right \|^2) = 0\\ ....$

几何上的意义是，后续残差E投影到w值为0，这一点也很容易理解，因为前面已经将w方向的成分提取完，残差中不可能再有w上的成分

性质七

投影轴 w与后续回归系数p正交,i<j

w_i^Tp_j =0

$\\w_i^Tp_{i+1}= w_i^T(E_{i+1}^Tt_{i+1})/\left \| t_{i+1}\right \|^2 \\ E_{i+1}w_i = 0 \Rightarrow w_i^Tp_{i+1} = 0\\ w_i^Tp_{i+l}= w_i^T(E_{i+l}^Tt_{i+l})/\left \| t_{i+1l}\right \|^2 \\E_{i+l}w_i = 0 \Rightarrow w_i^Tp_{i+l} = 0$

这条其实算是性质六的推论

性质八投影轴w相互之间正交

w_i^Tw_j =0

w_i^Tw_j =w_i^TE_j^TF_jv_j = 0

从几何角度来看，由于 w_i 轴上的成分已经提取完，后续的投影轴继续在这边投影得到的只会是0，因此不会有什么意义

性质九任意残差矩阵中的变异信息量等于下一级的残差矩阵的变异信息加上本次提取的信息

$\left \| E_n \right \|^2 = \left \| E_{n+1} \right \|^2+\left \| t_n \right \|^2*\left \| p_n \right \|^2$

令 $e_{n,j}$ 属于 $E_{n}$ 的第j列， $e_{n+1,j}$ 属于 $E_{n+1}$ 的第j列, $p_{n,j}$ 属于 $p_{n}$ 第j各系数

则有

$e_{n,j} = e_{n+1,j}+p_{n,j}t_n$

由于 $e_{n+1,j}$ ， t_n 正交，因此有

$\left \| e_{n,j} \right \|^2 = \left \| e_{n+1,j}\right \|^2+\left \| p_{n,j}t_n \right \|^2$

各列合并，可以推出上式

性质十假设矩阵 E1 的秩为r，则有

则提取r个成分，由于各成分正交，每取出一个正交成分，残差矩阵的秩会减一。

各成分对E1和F1的变异解释能力分别为

$\\b_i = \frac{\left \| t_i \right \|^2*\left \| p_i \right \|^2}{\left \| E_1 \right \|^2} \\d_i = \frac{\left \| t_i \right \|^2*\left \| r_i \right \|^2}{\left \| F_1 \right \|^2}$

同理可以得到累加变异解释能力

$\\B_i = \sum_i^r \frac{\left \| t_i \right \|^2*\left \| p_i \right \|^2}{\left \| E_1 \right \|^2} \\D_i = \sum_i^r\frac{\left \| t_i \right \|^2*\left \| r_i \right \|^2}{\left \| F_1 \right \|^2}$

性质十二任意成分t是原E1的线性组合

t_n = E_1l

证明

$\small \\ E_1 = E_1 \\ E_2 = E_1-t_1p_1^T = E_1-E_1w_1p_1^T=E_1(I-w_1p_1^T) \\ E_n = E_{n-1}-t_{n-1}p_{n-1}^T= E_{n-1}(I-w_{n-1}*p_{n-1}^T) \\=E_1\prod_i^{n-1}(I-w_ip_i^T) \\t_n = E_nw_n=E_1\prod_i^{n-1}(I-w_ip_i^T)w_n \\l = \prod_i^{n-1}(I-w_ip_i^T)w_n$