【时间序列分析】05.谱函数与谱密度

五、谱函数与谱密度

1.谱函数与谱密度

对于时间序列的初学者来说，谱函数、谱密度是一个很抽象的概念，难以理解。只需知道，谱反映了平稳序列的相关结构，如果我们将原始序列看成许多个不同频率的余弦波叠加，谱密度越高的地方，对应的频率成分的振幅越大。

谱函数、谱密度与平稳序列的关系，类似于随机变量与分布函数之间的关系——平稳序列谱函数是唯一存在的，且定义在$[-\pi ,\pi ]$上。下面给出谱函数、谱密度的定义：

谱函数：如果有$[-\pi ,\pi ]$上的单调不减右连续的函数$F(\lambda )$，使得
$${\gamma }_k={\int }_{-\pi }^{\pi }{e}^{\mathrm{i}k\lambda }\mathrm{d}F(\lambda ),F(-\pi )=0,k\in \mathbb{Z},$$
就称$F(\lambda )$是 { X t } \{X_t\} {Xt​}或 { γ k } \{\gamma_k\} {γk​}的谱分布函数，简称谱函数。

谱密度：如果有$[-\pi ,\pi ]$上的非负函数$f(\lambda )$，使得
$${\gamma }_k={\int }_{-\pi }^{\pi }f(\lambda )e^{\mathrm{i}k\lambda }\mathrm{d}\lambda ,k\in \mathbb{Z},$$
就称$f(\lambda )$是 { X t } \{X_t\} {Xt​}或 { γ k } \{\gamma_k\} {γk​}的谱密度函数，简称谱密度。

在积分变量上放置函数已经不是第一次见，在概率论中斯提尔吉斯积分是这个形式，随机过程中有界变差函数也采用这样的形式定义，我们再提一下这个积分的计算方式，即
$${\int }_{-\pi }^{\pi }g(x)\mathrm{d}F(x)=\underset{\Delta \to 0}{\lim }\sum _{i=1}^{N}g(x_i)[F(x_i)-F(x_{i-1})].$$
容易验证，如果 { X t } \{X_t\} {Xt​}有谱密度$f(\lambda )$，则其谱函数为变上限积分
$$F(\lambda )={\int }_{-\pi }^{\lambda }f(s)\mathrm{d}s,$$
而如果$F(\lambda )$是连续函数，除有限个点外导函数存在且连续，则谱密度为
$$f(\lambda )=\{\begin{array}{lc}{F}^{\prime }(\lambda ),& 当F^{\prime }(\lambda )存在,\\ 0,& 当F^{\prime }(\lambda )不存在.\end{array}$$
推导过程类似概率论中密度函数与分布函数的互相转化，详见《概率论学习笔记》第三章第一节。

谱函数的重要意义，就是它与平稳分布的对应性，如下的定理保证平稳序列的谱函数唯一存在。

Herglotz定理：平稳序列的谱函数是唯一存在的。

从此定理可以推知，如果谱密度存在，则在几乎处处的意义下也是唯一的。

事实上，实值平稳序列谱密度还是一个偶函数，因为
$$\begin{array}{rl}{\gamma }_k=& {\int }_{-\pi }^{\pi }f(\lambda )e^{\mathrm{i}k\lambda }\mathrm{d}\lambda \\ =& {\int }_{-\pi }^{\pi }f(\lambda )\cos (k\lambda )\mathrm{d}\lambda \\ =& {\int }_{-\pi }^{\pi }f(\lambda )\cos (-k\lambda )\mathrm{d}(-\lambda )\\ \stackrel{t=-\lambda }{=}& {\int }_{\pi }^{-\pi }-f(-t)\cos (kt)\mathrm{d}t\\ =& {\int }_{-\pi }^{\pi }f(-t)\cos (kt)\mathrm{d}t,\end{array}$$
这就说明$f(\lambda )=f(-\lambda )$，同时可以知道${\gamma }_k=2{\int }_0^{\pi }f(\lambda )\cos (k\lambda )\mathrm{d}\lambda$。

从谱函数、谱密度的定义来看，给定自协方差函数求谱函数不是那么容易，给定谱密度求自协方差函数是比较容易的，所以接下来我们对部分谱函数、谱密度进行求算。

2.无穷滑动和的谱密度

首先讨论我们之前着重说明的无穷滑动和： { ε t } ∼ W N ( 0 , σ 2 ) \{\varepsilon_t\}\sim {\rm WN}(0,\sigma^2) {εt​}∼WN(0,σ2)，实数列 { a j } \{a_j\} {aj​}平方可和，线性平稳序列如此定义：
$$X_t=\sum _{j=-\infty }^{\infty }{a}_j{\epsilon }_{t-j},t\in \mathbb{Z}.$$
要求这个平稳序列的谱密度不容易，我们采用构造的方式来求算，需要用到上一篇笔记中，最后构造出的复值随机序列：$Y\sim U(-\pi ,\pi ),{\epsilon }_n=e^{\mathrm{i}nY}$，我们已经证明了$\mathrm{E}{\epsilon }_n={\delta }_n,\mathrm{E}({\epsilon }_n{\bar{\epsilon }}_m)={\delta }_{n-m}$，再令
$$Z_n=\sum _{j=-\infty }^{\infty }{a}_j{\epsilon }_{t-j},t\in \mathbb{Z}.$$
这里的$Z_n$并非一个复平稳序列，但我们同样可以验证
$$\begin{array}{rl}\mathrm{E}(Z_n{\bar{Z}}_m)=& \mathrm{E}(\sum _{j=-\infty }^{\infty }{a}_j{\epsilon }_{n-j})(\sum _{k=-\infty }^{\infty }{a}_k{\epsilon }_{m-k})\\ =& \mathrm{E}\left(\sum _{j=-\infty }^{\infty }\sum _{k=-\infty }^{\infty }{a}_j{a}_k{\epsilon }_{n-j}{\epsilon }_{m-k}\right)\\ =& \sum _{j=-\infty }^{\infty }\sum _{k=-\infty }^{\infty }{a}_j{a}_k{\delta }_{n-j-(m-k)}\\ =& \sum _{k=-\infty }^{\infty }{a}_k{a}_{k+(n-m)}\end{array}$$
另一方面，从复数的定义入手，有
$$\begin{array}{rl}\mathrm{E}(Z_n{\bar{Z}}_m)=& \mathrm{E}\left[\sum _{j=-\infty }^{\infty }{a}_j{e}^{\mathrm{i}(n-j)Y}\sum _{k=-\infty }^{\infty }{a}_k{e}^{-\mathrm{i}(m-k)Y}\right]\\ =& \frac{1}{2\pi }{\int }_{-\pi }^{\pi }\left(\sum _{j=-\infty }^{\infty }{a}_j{e}^{\mathrm{i}(n-j)y}\right)\left(\sum _{j=-\infty }^{\infty }{a}_j{e}^{-\mathrm{i}(n-j+m-n)y}\right)\mathrm{d}y\\ =& \frac{1}{2\pi }{\int }_{-\pi }^{\pi }{\left|\sum _{j=-\infty }^{\infty }{a}_j{e}^{\mathrm{i}jy}\right|}^2{e}^{\mathrm{i}(n-m)y}\mathrm{d}y.\end{array}$$
联立两式，就得到一个恒等式：
$$\sum _{j=-\infty }^{\infty }{a}_j{a}_{j+k}=\frac{1}{2\pi }{\int }_{-\pi }^{\pi }{\left|\sum _{j=-\infty }^{\infty }{a}_j{e}^{\mathrm{i}jy}\right|}^2{e}^{\mathrm{i}ky}\mathrm{d}y.$$
这个恒等式事实上不依赖于${\epsilon }_n$的定义，也就是在平方可和的任何情况下都适用，所以自然地应用到我们的无穷滑动和上，得到
$${\gamma }_k={\sigma }^2\sum _{j=-\infty }^{\infty }{a}_j{a}_{j+k}=\frac{{\sigma }^2}{2\pi }{\int }_{-\pi }^{\pi }{\left|\sum _{j=-\infty }^{\infty }{a}_j{e}^{\mathrm{i}j\lambda }\right|}^2{e}^{\mathrm{i}k\lambda }\mathrm{d}\lambda .$$
对照形式，自然地就有无穷滑动和的谱密度为
$$f(\lambda )=\frac{{\sigma }^2}{2\pi }{\left|\sum _{j=-\infty }^{\infty }{a}_j{e}^{\mathrm{i}j\lambda }\right|}^2.$$
从这个式子入手，如果取$a_j={\delta }_j$，则得到零均值白噪声的谱密度为$f(\lambda )={\sigma }^2/2\pi$。

3.零均值正交平稳序列的谱

我们经常会用到两个平稳序列之和构成的新平稳序列，而两个平稳序列之间最典型的关系是正交、不相关，并且在零均值的情况下，正交与不相关等价。在之前的讨论中，我们得到的结果是零均值正交平稳序列的自协方差函数是分序列自协方差函数之和，即
$${\gamma }_Z(k)={\gamma }_X(k)+{\gamma }_Y(k),k\in \mathbb{Z}.$$
现在我们可以做出如下定论：

若 { X t } , { Y t } \{X_t\},\{Y_t\} {Xt​},{Yt​}是相互正交的零均值平稳序列，$c$是常数，定义$Z_t=X_t+Y_t+c$。

1. 如果 { X t } , { Y t } \{X_t\},\{Y_t\} {Xt​},{Yt​}分别有谱函数$F_X(\lambda ),F_Y(\lambda )$，则平稳序列 { Z t } \{Z_t\} {Zt​}有谱函数$F_Z(\lambda )=F_X(\lambda )+F_Y(\lambda )$；
2. 如果 { X t } , { Y t } \{X_t\},\{Y_t\} {Xt​},{Yt​}分别有谱密度$f_X(\lambda ),f_Y(\lambda )$，则平稳序列 { Z t } \{Z_t\} {Zt​}有谱密度$f_Z(\lambda )=f_X(\lambda )+f_Y(\lambda )$。

对它们的证明是显然的，因为
$$\begin{array}{rl}{\gamma }_Z(k)={\gamma }_X(k)+{\gamma }_Y(k)=& {\int }_{-\pi }^{\pi }{e}^{\mathrm{i}k\lambda }\mathrm{d}[F_X(\lambda )+F_Y(\lambda )]={\int }_{-\pi }^{\pi }{e}^{\mathrm{i}k\lambda }\mathrm{d}{F}_Z(\lambda );\\ =& {\int }_{-\pi }^{\pi }{e}^{\mathrm{i}k\lambda }(f_X(\lambda )+f_Y(\lambda ))\mathrm{d}\lambda ={\int }_{-\pi }^{\pi }{e}^{\mathrm{i}k\lambda }{f}_Z(\lambda )\mathrm{d}\lambda .\end{array}$$
由谱函数、谱密度的唯一性，就得到了结论。

这个结论也说明了对平稳序列作纵坐标平移不影响谱函数，所以对非零均值的白噪声 { ε t } ∼ W N ( μ , σ 2 ) \{\varepsilon_t\}\sim {\rm WN}(\mu,\sigma^2) {εt​}∼WN(μ,σ2)，其谱密度依然是$f(\lambda )={\sigma }^2/2\pi$，因此我们也得到一个重要结论：

白噪声的谱密度为常数。

由谱密度的唯一性，谱密度为常数的自协方差函数是白噪声的。

4.线性滤波的谱密度

考虑绝对可和的保时线性滤波器 H = { h j } H=\{h_j\} H={hj​}，并设平稳序列 { X t } \{X_t\} {Xt​}有谱函数$F_X(\lambda )$和自协方差函数 { γ k } \{\gamma_k\} {γk​}，输出过程是平稳序列
$$\begin{gathered} Y_t=\sum _{j=-\infty }^{\infty }{h}_j{X}_{t-j}, \\ {\gamma }_Y(k)=\sum _{j=-\infty }^{\infty }\sum _{l=-\infty }^{\infty }{h}_j{h}_l{\gamma }_{k+l-j} \end{gathered}$$
所以
$$\begin{array}{rl}{\gamma }_Y(k)=& \sum _{j=-\infty }^{\infty }\sum _{l=-\infty }^{\infty }{h}_j{h}_l{\int }_{-\pi }^{\pi }{e}^{\mathrm{i}(k+l-j)\lambda }\mathrm{d}{F}_X(\lambda )\\ =& {\int }_{-\pi }^{\pi }\sum _{j=-\infty }^{\infty }\sum _{l=-\infty }^{\infty }{h}_j{h}_l{e}^{\mathrm{i}(l-j)\lambda }{e}^{\mathrm{i}k\lambda }\mathrm{d}{F}_X(\lambda )\\ =& {\int }_{-\pi }^{\pi }{\left|\sum _{j=-\infty }^{\infty }{h}_j{e}^{-\mathrm{i}j\lambda }\right|}^2{e}^{\mathrm{i}k\lambda }\mathrm{d}{F}_X(\lambda )\\ \underset{|z|\le 1}{\overset{H(z)=\sum _{j=-\infty }^{\infty }{h}_j{z}^j}{=}}& {\int }_{-\pi }^{\pi }|H(e^{-\mathrm{i}\lambda }){|}^2{e}^{\mathrm{i}k\lambda }\mathrm{d}{F}_X(\lambda ).\end{array}$$
所以有
$$\begin{gathered} \mathrm{d}{F}_Y(\lambda )=|H(e^{-\mathrm{i}\lambda }){|}^2\mathrm{d}{F}_X(\lambda ), \\ {F}_Y(\lambda )={\int }_{-\pi }^{\lambda }|H(e^{-\mathrm{i}s}){|}^2\mathrm{d}{F}_X(s). \end{gathered}$$
如果 { X t } \{X_t\} {Xt​}有谱密度，那么自然地有
$$\begin{gathered} {\int }_{-\pi }^{\pi }|H(e^{-\mathrm{i}\lambda }){|}^2{e}^{\mathrm{i}k\lambda }\mathrm{d}{F}_X(\lambda )={\int }_{-\pi }^{\pi }|H(e^{-\mathrm{i}\lambda }){|}^2{f}_X(\lambda )e^{\mathrm{i}k\lambda }\mathrm{d}\lambda , \\ {f}_Z(\lambda )=|H(e^{-\mathrm{i}\lambda }){|}^2{f}_X(\lambda ). \end{gathered}$$

回顾总结

1. 任何平稳序列都与谱函数一一对应。谱函数和谱密度的定义分别为
   $${\gamma }_k={\int }_{-\pi }^{\pi }{e}^{\mathrm{i}k\lambda }\mathrm{d}F(\lambda )\stackrel{如果有}{=}{\int }_{-\pi }^{\pi }f(\lambda )e^{\mathrm{i}k\lambda }\mathrm{d}\lambda .$$

2. 给定谱函数后，如果其连续且仅在有限点处不可导，则谱密度就是其导函数；给定谱密度后，谱函数就是其变上限积分。

3. 实值平稳序列如果存在谱密度，则谱密度是一个偶函数。任何$[-\pi ,\pi ]$上的非负偶函数都可以是谱密度。

4. 某平稳序列是白噪声，等价于其谱密度为常数。

5. 对于零均值白噪声构成的线性平稳序列$X_t=\sum _{j=-\infty }^{\infty }{a}_j{\epsilon }_{t-j}$，其谱密度为
   $$f(\lambda )=\frac{{\sigma }^2}{2\pi }{\left|\sum _{j=-\infty }^{\infty }{a}_j{e}^{\mathrm{i}j\lambda }\right|}^2.$$

6. 零均值正交平稳序列的和，其谱函数、谱密度都是两个分谱函数、分谱密度之和。纵向平移不改变序列的谱密度。

7. 保时线性滤波器的谱函数为$F(\lambda )={\int }_{-\pi }^{\lambda }|H(e^{-\mathrm{i}s}){|}^2\mathrm{d}{F}_X(s)$，如果存在谱密度，则谱密度为$f(\lambda )=|H(e^{-\mathrm{i}\lambda }){|}^2{f}_X(\lambda )$，这里$H(z)=\sum _{j=-\infty }^{\infty }{h}_j{z}^j,|z|\le 1$。