递推主元分析

背景

实际的工业过程通常表现出时变特性 , 用主元分析法（PCA）建立的模型随着时间的推移将出现明显的偏差 , 为此 , 需及时对模型进行更新。Li Weihua (2000)提出一种自适应的递推主元分析监控算法，对数据矩阵的均值、标准差进行递推更新,从而递推求出规范化后的数据矩阵 , 进而得出自相关阵的更新公式,最后利用秩 1 更新得出负荷

向量和得分向量。
遗忘因子的思想就是“厚今薄古”，对于新产生数据，我们认为相比于旧的数据更具有价值，给予更高的权重；

递推更新

参数的递推更新包括**均值的更新**、**方差的更新**、**相关性矩阵的更新**这三部分。
均值的更新比较证明，这里就不具体叙述了

$${\mathbf{b}}_{\mathbf{k}+1}=\frac{{\mathbf{N}}_{\mathbf{k}}}{{\mathbf{N}}_{\mathbf{k}+1}}{\mathbf{b}}_{\mathbf{k}}+\frac{1}{{\mathbf{N}}_{\mathbf{k}+1}}{\mathbf{X}}_{{\mathbf{n}}_{\mathbf{k}+1}}^0{\mathbf{l}}_{\mathbf{k}+1}$$

方差的更新

$${\sigma }_{k+1,i}^2=\frac{N_k-1}{N_{k+1}-1}{\sigma }_{k+1,i}^2+\frac{1}{N_{k+1}-1}\Delta {\mathbf{b}}_{\mathbf{k}+1}^2(\mathbf{i})+\frac{1}{N_{k+1}-1}\Vert {\mathbf{X}}_{{\mathbf{n}}_{\mathbf{k}+1}}^0(:,\mathbf{i})-{\mathbf{l}}_{{\mathbf{n}}_{\mathbf{k}+1}}{b}_{k+1}(i)\Vert$$

自相关阵的更新

$${\mathbf{R}}_{\mathbf{k}+1}=\frac{{\mathbf{N}}_{\mathbf{k}}-1}{{\mathbf{N}}_{\mathbf{k}+1}-1}{\mathbf{\Sigma }}_{\mathbf{k}+1}^{-1}{\mathbf{\Sigma }}_{\mathbf{k}}{\mathbf{R}}_{\mathbf{k}}{\mathbf{\Sigma }}_{\mathbf{k}}{\mathbf{\Sigma }}_{\mathbf{k}+1}^{-1}+\frac{{\mathbf{N}}_{\mathbf{k}}}{{\mathbf{N}}_{\mathbf{k}+1}-1}{\mathbf{\Sigma }}_{\mathbf{k}+1}^{-1}\mathbf{\Delta }{\mathbf{b}}_{\mathbf{K}+1}\mathbf{\Delta }{\mathbf{b}}_{\mathbf{k}+1}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{k}+1}^{-1}+\frac{1}{{\mathbf{N}}_{\mathbf{k}+1}-1}{\mathbf{X}}_{{\mathbf{n}}_{\mathbf{k}+1}}^{\mathbf{T}}{\mathbf{X}}_{{\mathbf{n}}_{\mathbf{k}+1}}$$

带遗忘因子自适应更新

遗忘因子的思想来自于控制领域的自适应系统辨识；f越小 ，对过去数据遗忘更“严重”。
当新数据来时，记为  

均值的更新

均值的更新可以理解未等于过去的数据的均值乘以过去的权重f 加上现在的数据的均值乘以现在的权重(1-f).

$${\mathbf{b}}_{\mathbf{k}+1}=f{\mathbf{b}}_{\mathbf{k}}+(1-f)\frac{1}{n_{k+1}}{\mathbf{X}}_{{\mathbf{n}}_{\mathbf{k}+1}}^0{\mathbf{l}}_{\mathbf{k}+1}$$

方差的更新

$${\sigma }_{k+1,i}^2=f({\sigma }_{k+1,i}^2+N_k\Delta {\mathbf{b}}_{\mathbf{k}+1}^2(\mathbf{i}))+(1-f)\frac{1}{n_{k+1}}\Vert {\mathbf{X}}_{{\mathbf{n}}_{\mathbf{k}+1}}^0(:,\mathbf{i})-{\mathbf{l}}_{{\mathbf{n}}_{\mathbf{k}+1}}{b}_{k+1}(i)\Vert$$

自相关阵的更新

$${\mathbf{R}}_{\mathbf{k}+1}=f{\mathbf{\Sigma }}_{\mathbf{k}+1}^{-1}({\mathbf{\Sigma }}_{\mathbf{k}}{\mathbf{R}}_{\mathbf{k}}{\mathbf{\Sigma }}_{\mathbf{k}}+\mathbf{\Delta }{\mathbf{b}}_{\mathbf{K}+1}\mathbf{\Delta }{\mathbf{b}}_{\mathbf{k}+1}^{\mathbf{T}}){\mathbf{\Sigma }}_{\mathbf{k}+1}^{-1}+(1-f)\frac{1}{n_{k+1}}{\mathbf{X}}_{{\mathbf{n}}_{\mathbf{k}+1}}^{\mathbf{T}}{\mathbf{X}}_{{\mathbf{n}}_{\mathbf{k}+1}}$$
Remark：
1. 当遗忘因子 $f=\frac{N_k}{N_{k+1}}$ 时，此时近似退化成一般递推形式，认为每个样本等权重；
2. 遗忘因子范围$0<f<\frac{N_k}{N_{k+1}}<1$ ，当$\frac{N_k}{N_{k+1}}<f$时，此时是“厚古薄今”

细心的你会注意到,

参考文献

[1]: Li, W., Yue, H.H., Valle-Cervantes, S., Qin, S.J., 2000. Recursive PCA for adaptiveprocess monitoring. J. Process Control 10, 471–486
[2]: 程龙, 王桂增. 改进的递推主元分析及递推主元回归算法[J]. 控制工程, 2010(01):9-12.