主成分分析(PCA)及动态主成分分析(Dynamic PCA)模型原理分析

纯理论推导，建议慢食！！！

建议推一遍公式，挺好的。

主成分分析(PCA Model, PM)

PCA是一种统计方法，广泛应用于工程和科学应用中，与傅里叶分析相比，尤其适用于质量监测。

设$\mathbf{x}\in {\mathfrak{R}}^m$表示$m$个传感器矢量的样本测量值。

假设每个传感器有$N$个样本，数据矩阵$\mathbf{X}={\left[\begin{array}{llll}{\mathbf{x}}_1& {\mathbf{x}}_2& \cdots & {\mathbf{x}}_N\end{array}\right]}^T\in {\mathfrak{R}}^{N\times m}$，由代表样本$x_i^T$的每一行组成。

正常数据矩阵$X$的一个重要要求是，它应具有丰富的正常变化，以代表过程的共同原因变化。矩阵$X$被缩放为零均值，通常为PCA建模的单位方差。矩阵$X$通过奇异值分解（SVD）分解为得分矩阵$T$和加载矩阵$P$，
$$\mathbf{X}={\mathbf{T}\mathbf{P}}^T+\tilde{\mathbf{X}}\text{\hspace{1em}(1)}$$

其中$T=XP$包含 $l$ 个左前导奇异向量和奇异值，P 包含$l$个右前导奇异向量，$\tilde{\mathbf{X}}$ 是残差矩阵。因此，T 的列是正交的，P 的列是正交的。将样本协方差矩阵表示为
$$\mathbf{S}=\frac{1}{N-1}{\mathbf{X}}^T\mathbf{X}\text{\hspace{1em}(2)}$$

作为SVD的替代方法，可以对 S 进行特征分解，以获得 P 作为 S 的 $l$ 个前导特征向量，特征值表示为

Λ = diag ⁡ { λ 1 , λ 2 , … , λ l } (3) \mathbf{\Lambda}=\operatorname{diag}\left\{\lambda_{1}, \lambda_{2}, \ldots, \lambda_{l}\right\}\tag{3} Λ=diag{λ1​,λ2​,…,λl​}(3)
第 $i$ 个特征值可与得分矩阵 T 的第 $i$ 列相关，如下所示：
λ i = 1 N − 1 t i T t i ≈ var ⁡ { t i } (4) \lambda_{i}=\frac{1}{N-1} \mathbf{t}_{i}^{T} \mathbf{t}_{i} \approx \operatorname{var}\left\{\mathbf{t}_{i}\right\}\tag{4} λi​=N−11​tiT​ti​≈var{ti​}(4)

这是第$i$个得分向量${\mathbf{t}}_i\in {\mathfrak{R}}^N$的样本方差。主成分子空间（PCS）是 S p = span ⁡ { P } \mathcal{S}_{p}=\operatorname{span}\{\mathbf{P}\} Sp​=span{P}，剩余子空间（RS）$S_r$是$S_p$的正交补。将测量空间划分为PCS和RS，使得RS仅包含微小的奇异值，这些奇异值对应于通常具有较小变化的子空间，或者主要是噪声的子空间。因此，残差类似于根据质量平衡和能量平衡建立的数学模型中的方程误差。

样本向量$\mathbf{x}\in {\mathfrak{R}}^m$可以分别投影到PCS和RS上，

$$\hat{\mathbf{x}}=\mathbf{P}\mathbf{t}={\mathbf{P}\mathbf{P}}^T\mathbf{x}\in {\mathcal{S}}_p\text{\hspace{1em}(5)}$$

其中，

$$\mathbf{t}={\mathbf{P}}^T\mathbf{x}\in {\mathfrak{R}}^l\text{\hspace{1em}(6)}$$

为 $l$ 个潜在变量得分的向量。

残差向量：

$$\tilde{\mathbf{x}}=\mathbf{x}-\hat{\mathbf{x}}=\left(\mathbf{I}-{\mathbf{P}\mathbf{P}}^T\right)\mathbf{x}\in {\mathcal{S}}_r\text{\hspace{1em}(7)}$$

因为 $S_p$ 和 $S_r$ 是正交的，

$${\hat{\mathbf{x}}}^T\tilde{\mathbf{x}}=0\text{\hspace{1em}(8)}$$

且

$$\mathbf{x}=\hat{\mathbf{x}}+\tilde{\mathbf{x}}\text{\hspace{1em}(9)}$$

其中，一个重要的概念是，数据的PCA模型，$\hat{\mathbf{x}}$由潜变量 $\mathbf{t}\in {\mathfrak{R}}^m$ 参数化。

动态主成分分析(Dynamic PCA Models, DPM）

同样的PCA分解可以扩展到表示时间相关的动态过程数据，通过传递函数矩阵提取与测量向量相关的潜在变量。在潜变量建模中，测量变量不分为输入变量和输出变量。

相反，所有变量都与许多潜在变量相关，以表示它们的相关性。

设$z_k$时间$k$时所有的变量的集合。

扩展变量向量可以定义为

$${\mathbf{x}}_k^T=\left[{\mathbf{z}}_k^T{\mathbf{z}}_{k-1}^T\cdots {\mathbf{z}}_{k-d}^T\right]\text{\hspace{1em}(9)}$$

PCA潜在变量得分可根据（5）计算，如下所示：
$${\mathbf{t}}_k={\mathbf{P}}^T{\left[{\mathbf{z}}_k^T{\mathbf{z}}_{k-1}^T\cdots {\mathbf{z}}_{k-d}^T\right]}^T\text{\hspace{1em}(10)}$$

根据（10）将$P$划分为$d+1$块

$${\mathbf{P}}^T=\left[\begin{array}{llll}{\mathbf{P}}_0^T& {\mathbf{P}}_1^T& \cdots & {\mathbf{P}}_{\mathrm{d}}^T\end{array}\right]\text{\hspace{1em}(11)}$$

由（10） 可以用传递矩阵的形式表示，
$${\mathbf{t}}_k=\sum _{i=0}^d{\mathbf{P}}_i^T{\mathbf{z}}_{k-i}\equiv A\left(q^{-1}\right){\mathbf{z}}_k\text{\hspace{1em}(12)}$$

其中，$A\left(q^{-1}\right)={\sum }_{i=0}^d{\mathbf{P}}_i^T{\mathbf{q}}^{-i}$是矩阵多项式，${\mathbf{q}}^{-i}$是后移算子。等式（12）表明，潜在变量是过去数据的线性组合，其降序方差最大。这个概念类似于卡尔曼滤波器状态向量。投影（4）包含测量的滤波或平滑估计。

在闭环控制系统的情况下，过程输入和输出变量通常对一些主要的过程扰动作出响应。主要扰动起潜变量的作用。因此，潜在变量模型可以在向量$z_k$中包括过程输入和输出。

❤坚持读Paper，坚持做笔记❤！！！
To Be No.1

哈哈哈哈

---

创作不易，过路能❤关注、收藏、点个赞❤三连就最好不过了

ღ( ´･ᴗ･` )

『
她有心，她的心在我这里
』