纯理论推导,建议慢食!!!
![](https://i-blog.csdnimg.cn/blog_migrate/0bf2246433cf0a53abfd01e031b4cca7.jpeg)
建议推一遍公式,挺好的。
主成分分析(PCA Model, PM)
PCA是一种统计方法,广泛应用于工程和科学应用中,与傅里叶分析相比,尤其适用于质量监测。
设 x ∈ R m \boldsymbol{x} \in \mathfrak{R}^{m} x∈Rm表示 m m m个传感器矢量的样本测量值。
假设每个传感器有 N N N个样本,数据矩阵 X = [ x 1 x 2 ⋯ x N ] T ∈ R N × m \mathbf{X}=\left[\begin{array}{llll} \boldsymbol{x}_{1} & \boldsymbol{x}_{2} & \cdots & \boldsymbol{x}_{N} \end{array}\right]^{T} \in \mathfrak{R}^{N \times m} X=[x1x2⋯xN]T∈RN×m,由代表样本 x i T x^T_i xiT的每一行组成。
正常数据矩阵
X
X
X的一个重要要求是,它应具有丰富的正常变化,以代表过程的共同原因变化。矩阵
X
X
X被缩放为零均值,通常为PCA建模的单位方差。矩阵
X
X
X通过奇异值分解(SVD)分解为得分矩阵
T
T
T和加载矩阵
P
P
P,
X
=
T
P
T
+
X
~
(1)
\mathbf{X}=\mathbf{T P}^{T}+\tilde{\mathbf{X}}\tag{1}
X=TPT+X~(1)
其中
T
=
X
P
T=XP
T=XP包含
l
l
l 个左前导奇异向量和奇异值,P 包含
l
l
l个右前导奇异向量,
X
~
\tilde{\mathbf{X}}
X~ 是残差矩阵。因此,T 的列是正交的,P 的列是正交的。将样本协方差矩阵表示为
S
=
1
N
−
1
X
T
X
(2)
\mathbf{S}=\frac{1}{N-1} \mathbf{X}^{T} \mathbf{X}\tag{2}
S=N−11XTX(2)
作为SVD的替代方法,可以对 S 进行特征分解,以获得 P 作为 S 的 l l l 个前导特征向量,特征值表示为
Λ
=
diag
{
λ
1
,
λ
2
,
…
,
λ
l
}
(3)
\mathbf{\Lambda}=\operatorname{diag}\left\{\lambda_{1}, \lambda_{2}, \ldots, \lambda_{l}\right\}\tag{3}
Λ=diag{λ1,λ2,…,λl}(3)
第
i
i
i 个特征值可与得分矩阵 T 的第
i
i
i 列相关,如下所示:
λ
i
=
1
N
−
1
t
i
T
t
i
≈
var
{
t
i
}
(4)
\lambda_{i}=\frac{1}{N-1} \mathbf{t}_{i}^{T} \mathbf{t}_{i} \approx \operatorname{var}\left\{\mathbf{t}_{i}\right\}\tag{4}
λi=N−11tiTti≈var{ti}(4)
这是第 i i i个得分向量 t i ∈ R N \mathbf{t}_{i} \in \mathfrak{R}^{N} ti∈RN的样本方差。主成分子空间(PCS)是 S p = span { P } \mathcal{S}_{p}=\operatorname{span}\{\mathbf{P}\} Sp=span{P},剩余子空间(RS) S r S_r Sr是 S p S_p Sp的正交补。将测量空间划分为PCS和RS,使得RS仅包含微小的奇异值,这些奇异值对应于通常具有较小变化的子空间,或者主要是噪声的子空间。因此,残差类似于根据质量平衡和能量平衡建立的数学模型中的方程误差。
样本向量 x ∈ R m \mathbf{x} \in \mathfrak{R}^{m} x∈Rm可以分别投影到PCS和RS上,
x ^ = P t = P P T x ∈ S p (5) \hat{\boldsymbol{x}}=\mathbf{P} \boldsymbol{t}=\mathbf{P P}^{T} \boldsymbol{x} \in \mathcal{S}_{p}\tag{5} x^=Pt=PPTx∈Sp(5)
其中,
t = P T x ∈ R l (6) \boldsymbol{t}=\mathbf{P}^{T} \boldsymbol{x} \in \mathfrak{R}^{l}\tag{6} t=PTx∈Rl(6)
为 l l l 个潜在变量得分的向量。
残差向量:
x ~ = x − x ^ = ( I − P P T ) x ∈ S r (7) \tilde{\boldsymbol{x}}=\boldsymbol{x}-\hat{\boldsymbol{x}}=\left(\mathbf{I}-\mathbf{P P}^{T}\right) \boldsymbol{x} \in \mathcal{S}_{r}\tag{7} x~=x−x^=(I−PPT)x∈Sr(7)
因为 S p S_p Sp 和 S r S_r Sr 是正交的,
x ^ T x ~ = 0 (8) \hat{\boldsymbol{x}}^{T} \tilde{\boldsymbol{x}}=0\tag{8} x^Tx~=0(8)
且
x = x ^ + x ~ (9) \boldsymbol{x}=\hat{\boldsymbol{x}}+\tilde{\boldsymbol{x}}\tag{9} x=x^+x~(9)
其中,一个重要的概念是,数据的PCA模型, x ^ \hat{\boldsymbol{x}} x^由潜变量 t ∈ R m \mathbf{t} \in \mathfrak{R}^{m} t∈Rm 参数化。
动态主成分分析(Dynamic PCA Models, DPM)
同样的PCA分解可以扩展到表示时间相关的动态过程数据,通过传递函数矩阵提取与测量向量相关的潜在变量。在潜变量建模中,测量变量不分为输入变量和输出变量。
相反,所有变量都与许多潜在变量相关,以表示它们的相关性。
设 z k z_k zk时间 k k k时所有的变量的集合。
扩展变量向量可以定义为
x k T = [ z k T z k − 1 T ⋯ z k − d T ] (9) \boldsymbol{x}_{k}^{T}=\left[\boldsymbol{z}_{k}^{T} \mathbf{z}_{k-1}^{T} \cdots \boldsymbol{z}_{k-d}^{T}\right]\tag{9} xkT=[zkTzk−1T⋯zk−dT](9)
PCA潜在变量得分可根据(5)计算,如下所示:
t
k
=
P
T
[
z
k
T
z
k
−
1
T
⋯
z
k
−
d
T
]
T
(10)
\mathbf{t}_{k}=\mathbf{P}^{T}\left[\mathbf{z}_{k}^{T} \mathbf{z}_{k-1}^{T} \cdots \mathbf{z}_{k-d}^{T}\right]^{T}\tag{10}
tk=PT[zkTzk−1T⋯zk−dT]T(10)
根据(10)将 P P P划分为 d + 1 d+1 d+1块
P T = [ P 0 T P 1 T ⋯ P d T ] (11) \mathbf{P}^{T}=\left[\begin{array}{llll} \mathbf{P}_{0}^{T} & \mathbf{P}_{1}^{T} & \cdots & \mathbf{P}_{\mathrm{d}}^{T} \end{array}\right]\tag{11} PT=[P0TP1T⋯PdT](11)
由(10) 可以用传递矩阵的形式表示,
t
k
=
∑
i
=
0
d
P
i
T
z
k
−
i
≡
A
(
q
−
1
)
z
k
(12)
\boldsymbol{t}_{k}=\sum_{i=0}^{d} \mathbf{P}_{i}^{T} \boldsymbol{z}_{k-i} \equiv A\left(q^{-1}\right) \boldsymbol{z}_{k}\tag{12}
tk=i=0∑dPiTzk−i≡A(q−1)zk(12)
其中, A ( q − 1 ) = ∑ i = 0 d P i T q − i A\left(q^{-1}\right)=\sum_{i=0}^{d} \mathbf{P}_{i}^{T} \boldsymbol{q}^{-i} A(q−1)=∑i=0dPiTq−i是矩阵多项式, q − i \boldsymbol{q}^{-i} q−i是后移算子。等式(12)表明,潜在变量是过去数据的线性组合,其降序方差最大。这个概念类似于卡尔曼滤波器状态向量。投影(4)包含测量的滤波或平滑估计。
在闭环控制系统的情况下,过程输入和输出变量通常对一些主要的过程扰动作出响应。主要扰动起潜变量的作用。因此,潜在变量模型可以在向量 z k z_k zk中包括过程输入和输出。
❤坚持读Paper,坚持做笔记❤!!!
To Be No.1哈哈哈哈
创作不易,过路能❤关注、收藏、点个赞❤三连就最好不过了
ღ( ´・ᴗ・` )
『
她有心,她的心在我这里
』