Karhunen-Loeve 展开理论详解及数值计算验证

Karhunen-Loeve 展开理论详解及数值计算验证
阵列协方差矩阵
K-L变换

---

前言

           \;\;\;\;\; Karhunen-Loeve 展开理论揭露了零均值平稳随机过程构成的随机向量为可以表示为协方差矩阵的归一化特征向量的线性组合。本文将介绍Karhunen-Loeve 展开理论及其证明，并通过MATLAB数值计算验证该理论。

---

提示：以下是本篇文章正文内容，尊重版权，引用请附上链接。

一、Karhunen-Loeve理论

           \;\;\;\;\; 设零均值平稳随机过程 $\mathbf{u}(n)$ 构成的 $M$ 维随机向量为 $\mathbf{u}(n)$，相应的相关矩阵为 $\mathbf{R}$，则向量 $\mathbf{u}(n)$ 可以表示为 $\mathbf{R}$ 的归一化特征向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_M$ 的线性组合，即
$$\mathbf{u}(n)=\sum _{i=1}^M{c}_i{\mathbf{q}}_i$$ 上式称为 $\mathbf{u}(n)$ 的 Karhunen-Loeve 展开式。式中，展开式的系数 $c_i$ 是由内积
$$c_i={\mathbf{q}}_i^H\mathbf{u}(n),i=1,2,\cdots ,M$$ 定义的随机变量，且有
E { c i } = 0 E\{c_i\}=0 \quad E{ci​}=0 E { c i c i ∗ } = { λ i , i = l 0 , i ≠ l E\{c_ic_i^*\}=\begin{cases}\lambda_i, & i=l\\0, & i\ne l\end{cases} \quad E{ci​ci∗​}={λi​,0,​i=li=l​
这两个求期望的式子说明了 $M$ 个展开式的系数是互不相关的。下面给出该理论的证明：

           \;\;\;\;\; 对上面第一个式子两边左乘${\mathbf{q}}_i^H$，有
$${\mathbf{q}}_i^H\mathbf{u}(n)={\mathbf{q}}_i^H\sum _{k=1}^M{c}_k{\mathbf{q}}_k=\sum _{k=1}^M{c}_k{\mathbf{q}}_i^H{\mathbf{q}}_{k}i=1,2,...,M$$ 因为每个特征向量是相互正交的，即
$${\mathbf{q}}_i^{\mathrm{H}}{\mathbf{q}}_j=\{\begin{array}{llc}1,& i=j& \\ 0,& i\ne j& \end{array}$$ 所以可得
$$c_i={\mathbf{q}}_i^H\mathbf{u}(n)i=1,2,...,M$$

因为随机过程$\mathbf{u}(n)$的均值为零，所以，展开式系数 $c_i$ 的均值也为零，而
E { c i c l ∗ } = E { q i H u ( n ) [ q l H u ( n ) ] ∗ } {E}\left\{{c}_{i} {c}_{l}^{*}\right\}={E}\left\{\boldsymbol{q}_{i}^{\mathrm{H}} \boldsymbol{u}(n)\left[\boldsymbol{q}_{l}^{\mathrm{H}} \boldsymbol{u}(n)\right]^{*}\right\} E{ci​cl∗​}=E{qiH​u(n)[qlH​u(n)]∗} $$=E\left\{{\mathbf{q}}_i^{\mathrm{H}}\mathbf{u}(n){\mathbf{q}}_l^{\mathrm{T}}{\mathbf{u}}^{\ast }(n)\right\}$$ $$=E\left\{{\mathbf{q}}_i^{\mathrm{H}}\mathbf{u}(n){\mathbf{u}}^{\mathrm{H}}(n){\mathbf{q}}_l\right\}$$ $$={\mathbf{q}}_i^{\mathrm{H}}E\left\{\mathbf{u}(n){\mathbf{u}}^{\mathrm{H}}(n)\right\}{\mathbf{q}}_l$$ $$={\mathbf{q}}_i^{\mathrm{H}}\mathbf{R}{\mathbf{q}}_l$$ $$={\mathbf{q}}_i^{\mathrm{H}}(\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^H){\mathbf{q}}_l$$ $$={\mathbf{q}}_i^{\mathrm{H}}\left(\sum _{k=1}^M{\lambda }_k{\mathbf{q}}_k{\mathbf{q}}_k^{\mathrm{H}}\right){\mathbf{q}}_l$$ $$=\sum _{k=1}^M{\lambda }_k\left({\mathbf{q}}_i^{\mathrm{H}}{\mathbf{q}}_k\right)\left({\mathbf{q}}_k^{\mathrm{H}}{\mathbf{q}}_l\right)$$ 还是因为每个特征向量是相互正交的，所以可得
E { c i c l ∗ } = { λ i , i = l 0 , i ≠ l {E}\left\{c_i c_l^*\right\}=\begin{cases}\lambda_i,&i=l\\0,&i\ne l\end{cases} E{ci​cl∗​}={λi​,0,​i=li=l​ 即$M$个展开系数$c_i(i=1,2,\cdots ,M)$是互不相关的。

二、MATLAB数值计算验证

X=[0.380188080394221 - 4.80840311889913i	9.01551306016066 + 0.474820176721600i	2.53030874185729 + 5.06631990869671i	-9.57942898970697 + 0.207798507181289i;
-2.94127326680851 + 3.04821010362689i	-4.63345556903917 - 8.74361015253802i	6.19631350044581 - 1.26319637948518i	4.22597245751495 + 8.50562221561771i;
2.02429128417927 + 3.89703975446236i	-5.70306616729806 + 7.24328167972610i	-4.57605142647674 - 2.38671650483973i	6.71173689323794 - 7.12184092779286i;
1.61341350166245 - 3.55712443803114i	8.72723450691701 + 3.01639248844176i	1.14225006315341 + 4.34466566820764i	-9.89689368176315 - 2.96251859167862i]
Rx=X*X'/4        % 估计协方差矩阵
[evector,evalue]=eig(Rx); % 特征值分解
u=X(:,1)
ci=evector'*u;
evector*ci

运行以上代码得到下图所示结果：
可见u和ans的结果一模一样，成功验证了Karhunen-Loeve 展开理论。

---

总结

           \;\;\;\;\; 以上就是今天要讲的内容，本文介绍了Karhunen-Loeve 展开理论及其证明，并通过MATLAB数值计算验证了该理论。