【时间序列分析】02.线性平稳序列

二、线性平稳序列

1.有限移动平均(MA)

前面说到，白噪声是最简单的平稳序列，它具有序列不相关性，那么由几个连续白噪声线性组合而成的时间序列具有什么样的性质呢？我们将这种连续几个白噪声线性组合而成的时间序列称为线性平稳序列。

首先从有限项白噪声的加和考虑起，最简单的是两项情况，既然${\epsilon }_1,{\epsilon }_2,\cdots$是无关的，那么考虑两项的加和${\epsilon }_1+{\epsilon }_2,{\epsilon }_2+{\epsilon }_3,\cdots$，显然相邻的两项由于公共白噪声${\epsilon }_2$的存在不再是无关的，而具有一定的相关度，但是相隔一项以后没有公共项了，所以只要时间序列的时间差大于等于2，就仍然是无关的；扩展到三项、并加上系数即$a{\epsilon }_1+b{\epsilon }_2+c{\epsilon }_3,a{\epsilon }_2+b{\epsilon }_3+c{\epsilon }_4,\cdots$的情况，显而易见，只要时间序列的时间差大于等于3就无关，时间差是1或2时就有关。由此，我们可以延拓到有限的$q$项，定义白噪声的有限运动平均(Moving Average, MA)：

对于非负整数$q$和常数$a_0,a_1,\cdots ,a_q$， { ε t } \{\varepsilon_t\} {εt​}是$\mathrm{W}\mathrm{N}(0,{\sigma }^2)$，即零均值白噪声，称
$$X_t=a_0{\epsilon }_t+a_1{\epsilon }_{t-1}+\cdots +a_q{\epsilon }_{t-q},t\in \mathbb{Z}$$
是白噪声 { ε t } \{\varepsilon_t\} {εt​}的有限运动平均(MA)。

由于${\epsilon }_t$是零均值的，所以显然$\mathrm{E}{X}_t=0$，接下来考虑协方差，有
$$\begin{array}{rl}\mathrm{E}(X_n{X}_m)=& \mathrm{E}\sum _{j=0}^q{a}_j{\epsilon }_{n-j}\sum _{k=0}^q{a}_k{\epsilon }_{m-k}\\ =& \mathrm{E}\sum _{j=0}^q\sum _{k=0}^q{a}_j{a}_k{\epsilon }_{n-j}{\epsilon }_{m-k}\\ =& \sum _{j=0}^q\sum _{k=0}^q{a}_j{a}_k\mathrm{E}{\epsilon }_{n-j}{\epsilon }_{m-k}\\ =& \sum _{j=0}^q\sum _{k=0}^q{a}_j{a}_k{\sigma }^2{\delta }_{n-m-(j-k)}\\ (不妨假设n\ge m)=& \sum _{k=0}^{q-(n-m)}{a}_{n-m+k}{a}_k{\sigma }^2.\end{array}$$
这里，第一个等号是直接代入，第二个等号成立用到了有限项和乘积的性质，第三个等号成立用到了有限项期望与求和可交换的性质，第四个等号从白噪声的性质入手，将自协方差函数用克罗内克函数表示，最后一个等号根据${\delta }_{n-m-(j-k)}$的筛选性质，将零项过滤掉，只保留$j-k=n-m$即$j=n-m+k$的项，同时要保留出现的$a_{n-m+k},a_k$都在 { a 0 , a 1 , ⋯   , a q } \{a_0,a_1,\cdots,a_q\} {a0​,a1​,⋯,aq​}之间防止溢出。

计算到最后一步就可以看出，所有的$n,m$都以整体时间差$n-m$出现，这就表明了自协方差函数只与时间差有关，而$n=m$的情况可得到$X_t$的二阶矩存在，因此 { X t } \{X_t\} {Xt​}是一个平稳序列。可以将自协方差函数写成时间差$k$的函数列，即
$${\gamma }_k={\sigma }^2\sum _{j=0}^{q-k}{a}_j{a}_{j+k},0\le k\le q.$$
而当$k>q$时，显然$X_n,X_{n+k}$之间不存在公共白噪声了，所以自然不相关，有${\gamma }_k=0$。从形式上来看，有限运动平均的自协方差函数是系数$(a_0,a_1,\cdots ,a_q)$中所有位置相差$k$的两项乘积的和再乘上白噪声方差${\sigma }^2$，而$k>q$时不相关，因此我们称这样的序列 { X t } \{X_t\} {Xt​}是$q$相关的。

2.无穷滑动和

现在，我们想把有限移动平均推广到无限的形式，即对于一个无限数列 { a n } \{a_n\} {an​}，类似地定义无限运动平均为$X_t=\sum _{j=-\infty }^{\infty }{a}_j{\epsilon }_{t-j}$。但是，需要解决以下几个问题：

• 无限个随机变量的求和是否仍然是有意义的？
• 期望与无限项的求和是否可以交换？

直接看以上的命题显得有些抽象，我们不妨按照计算MA的步骤来考虑无限滑动平均 { X t } \{X_t\} {Xt​}，首先要计算它的期望，即
$$\mathrm{E}(\sum _{j=-\infty }^{\infty }{a}_j{\epsilon }_{t-j}).$$
如果期望与无限项的求和可以交换，那么交换可以得到上述期望等于0。那么，在什么情况下上述期望与无限求和号可以交换呢？有以下两个收敛定理保证，当随机变量收敛时其期望也是收敛的：

1. 单调收敛定理：如果非负随机变量序列单调不减，有$0\le {\xi }_1\le {\xi }_2\le \cdots$，则当${\xi }_n\to \xi \text{ a.s.}$时有$\mathrm{E}\xi =\underset{n\to \infty }{\lim }\mathrm{E}{\xi }_n$；
2. 控制收敛定理：如果随机变量列 { ξ n } \{\xi_n\} {ξn​}满足$|{\xi }_n|\le {\xi }_0\mathrm{a}.\mathrm{s}.$和$\mathrm{E}|{\xi }_0|<\infty$，则当${\xi }_n\to \xi \text{ a.s.}$时，$\mathrm{E}|\xi |<\infty$并且$\mathrm{E}{\xi }_n\to \mathrm{E}\xi$。

为了让$X_t=\sum _{j=-\infty }^{\infty }{a}_j{\epsilon }_{t-j}$满足上述定理的条件，我们规定一个绝对可和条件，即$\sum _{j=-\infty }^{\infty }|a_j|<\infty$，这时，$\sum _{j=-\infty }^{\infty }{a}_j{\epsilon }_{t-j}\le \sum _{j=-\infty }^{\infty }|a_j{\epsilon }_t|$，且由单调收敛定理，
$$\mathrm{E}(\sum _{j=-\infty }^{\infty }|a_j{\epsilon }_t|)=\sum _{j=-\infty }^{\infty }|a_j|\mathrm{E}|{\epsilon }_{t-j}|\le \sigma \sum _{j=-\infty }^{\infty }|a_j|<\infty .$$
这里第一个等号由单调收敛定理保证，第二个不等号由柯西不等式保证，上式同时保证了无穷和是有意义（收敛）的。于是由控制收敛定理，
$$\mathrm{E}(\sum _{j=-\infty }^{\infty }{a}_j{\epsilon }_{t-j})=\sum _{j=-\infty }^{\infty }{a}_j\mathrm{E}{\epsilon }_{t-j}=0.$$
再回到协方差的计算上，类比有限项，可以得到
$$\mathrm{E}(X_n{X}_m)=\mathrm{E}\sum _{j=-\infty }^{\infty }\sum _{k=-\infty }^{\infty }{a}_j{a}_k{\epsilon }_{n-j}{\epsilon }_{m-k}\stackrel{?}{=}\sum _{j=-\infty }^{\infty }\sum _{k=-\infty }^{\infty }{a}_j{a}_k\mathrm{E}{\epsilon }_{n-j}{\epsilon }_{m-k},$$
即考虑问号处的等号是否成立。一样要用到单调收敛定理和控制收敛定理，此时考虑$\sum _{j=-\infty }^{\infty }\sum _{k=-\infty }^{\infty }|a_j{a}_k{\epsilon }_{n-j}{\epsilon }_{m-k}|$即可，由单调收敛定理有
$$\mathrm{E}\sum _{j=-\infty }^{\infty }\sum _{k=-\infty }^{\infty }|a_j{a}_k{\epsilon }_{n-j}{\epsilon }_{m-k}|=\sum _{j=-\infty }^{\infty }\sum _{k=-\infty }^{\infty }|a_j{a}_k|\mathrm{E}|{\epsilon }_{n-j}{\epsilon }_{m-k}|\le {\sigma }^2(\sum _{j=-\infty }^{\infty }|a_j|{)}^2<\infty .$$
这里不等号处，用到了自协方差函数的有界性，以及两次求和与一次求和的转化。再由控制收敛定理知道问号处的等号成立，所以自然地得到
$${\gamma }_k={\sigma }^2\sum _{j=-\infty }^{\infty }{a}_j{a}_{j+k}.$$
结合以上的论证过程，我们定义无穷滑动和如下：

如果实数列 { a j } \{a_j\} {aj​}是绝对可和的，即$\sum _{j=-\infty }^{\infty }|a_j|<\infty$，就称零均值白噪声 { ε t } \{\varepsilon_t\} {εt​}的无穷滑动和为
$$X_t=\sum _{j=-\infty }^{\infty }{a}_j{\epsilon }_{t-j},t\in \mathbb{Z}.$$
它的期望是$\mathrm{E}{X}_t=0$，自协方差函数为${\gamma }_k={\sigma }^2\sum _{j=-\infty }^{\infty }{a}_j{a}_{j+k}$。

无穷滑动和有一个重要的性质，即$\underset{k\to \infty }{\lim }{\gamma }_k=0$，也就是相关度的时间衰减性。

定理：设 { ε t } ∼ W N ( 0 , σ 2 ) \{\varepsilon_t\}\sim {\rm WN}(0,\sigma^2) {εt​}∼WN(0,σ2)，实数列 { a n } \{a_n\} {an​}平方可和，线性平稳序列为
$$X_t=\sum _{j=-\infty }^{\infty }{a}_j{\epsilon }_{t-j},t\in \mathbb{Z},$$
则自协方差函数${\gamma }_k\to 0(k\to \infty )$。

证明需要用到柯西不等式$\sum |a_j{b}_j|\le (\sum a_j^2\sum b_j^2{)}^{1/2}$，设平方可和的 { a j } \{a_j\} {aj​}有$\sum _{j=-\infty }^{\infty }{a}_j^2=A$，则
$$\begin{array}{rl}|{\gamma }_k|=& {\sigma }^2\left|\sum _{j=-\infty }^{\infty }{a}_j{a}_{j+k}\right|\\ \le & {\sigma }^2\sum _{|j|\le k/2}|a_j{a}_{j+k}|+{\sigma }^2\sum _{|j|>k/2}|a_j{a}_{j+k}|\\ \le & {\sigma }^2{\left(\sum _{|j|\le k/2}{a}_j^2\sum _{|j|\le k/2}{a}_{j+k}^2\right)}^{1/2}+{\sigma }^2{\left(\sum _{|j|>k/2}{a}_j^2\sum _{|j|>k/2}{a}_{j+k}^2\right)}^{1/2}\\ \le & {\sigma }^2{\left(A\sum _{|j|\le k/2}{a}_{j+k}^2\right)}^{1/2}+{\sigma }^2{\left(A\sum _{|j|>k/2}{a}_j^2\right)}^{1/2}\end{array}$$

这里第一个小于等于号用到三角不等式$|a+b|\le |a|+|b|$，第二个不等号用到上述的柯西不等式，第三个不等号进行放缩，将$\sum a_j^2$或$\sum a_{j+k}^2$中的下标向整个$\mathbb{Z}$扩充，利用平方可和性导出有界性。接下来要证明最后一项趋近于0，只需要看到不论是$|j|\le k/2$还是$|j|>k/2$，求和的第一项都从$k/2$起，即
$${\sigma }^2{\left(A\sum _{|j|\le k/2}{a}_{j+k}^2\right)}^{1/2}+{\sigma }^2{\left(A\sum _{|j|>k/2}{a}_j^2\right)}^{1/2}\le 2{\sigma }^2\sqrt{A}(\sum _{|j|\ge k/2}{a}_j{)}^{1/2}.$$
当$k\to \infty$时，由级数收敛的性质，可以知道$\sum _{|j|\ge k/2}{a}_j\to 0$，所以由夹逼性，$|{\gamma }_k|\to 0$。

由于绝对可和性包含了平方可和，所以无穷滑动和的自协方差函数都趋向于0，因此对于一组观测样本，只要当$N\to \infty$时，样本自协方差函数
$${\hat{\gamma }}_k=\frac{1}{N}\sum _{t=1}^{N-k}(x_{t+k}-\bar{x})(x_t-\bar{x}),1\le k\le \sqrt{N}$$
趋近于0，就可以用线性平稳序列来描述这个时间序列。

但是，由于满足自协方差函数趋近于0，只需要$a_j$是平方可和的，这样定义的$X_t$是否仍然是有意义的，即是否会收敛呢？以后可以证明，只要平方可和，则$X_t$依然是平稳序列，且期望、方差均与绝对可和形态时的一样。

在实际应用中，由于未来的白噪声是不可预测的，所以我们会更经常使用单边滑动和：
$$X_t=\sum _{j=0}^{\infty }{a}_j{\epsilon }_{t-j},t\in \mathbb{Z}.$$
它依然是零均值的，且自协方差函数为
$${\gamma }_k=\{\begin{array}{lc}{\sigma }^2\sum _{j=0}^{\infty }{a}_j{a}_{j+k},& k\ge 0;\\ {\gamma }_{-k},& k<0.\end{array}$$

3.线性滤波

线性滤波指的是用一个线性算子，结合某个点周围的其他点对点进行的变换，具体到时间序列的线性滤波，就是用某个时间点及周围的若干个随机变量，利用某种变换得到一个新的随机变量。我们可以把时间序列的线性滤波看作是无穷滑动和对于任何时间序列的处理。

保时线性滤波器：对于绝对可和的实数列 { h j } \{h_j\} {hj​}与时间序列 { X t } \{X_t\} {Xt​}，称 H = { h j } H=\{h_j\} H={hj​}是一个保时线性滤波器，在这个滤波器作用下，新的时间序列为
$$Y_t=\sum _{j=-\infty }^{\infty }{h}_j{X}_{t-j},t\in \mathbb{Z}.$$

特别当$X_t$是平稳序列时，$Y_t$也是平稳序列，且
$$\mathrm{E}{Y}_t=\mathrm{E}{X}_t\sum _{j=-\infty }^{\infty }{h}_j,{\gamma }_Y(n)=\sum _{j=-\infty }^{\infty }\sum _{k=-\infty }^{\infty }{h}_j{h}_k{\gamma }_{n+j-k}.$$
作为应用，有一种特殊的线性滤波器为
$$h_j=\frac{1}{2M+1},|j|\le M.$$
使用这种滤波器对余弦波信号进行处理，可以刷掉信号中的毛刺，使得信号变成一条更平滑的曲线。

回顾总结

1. 对零均值白噪声进行有限移动平均，得到的线性平稳序列$X_t=\sum _{j=0}^q{a}_j{\epsilon }_{t-j}$依然是平稳序列，且$\mu =0,{\gamma }_k={\sigma }^2\sum _{j=0}^{q-k}{a}_j{a}_{j+k}$。特别当$k>q$时，序列是不相关的。
2. 对零均值白噪声进行无穷移动平均，得到的是无穷滑动和$X_t=\sum _{j=-\infty }^{\infty }{a}_j{\epsilon }_{t-j}$，但要求它是平稳序列，需要 { a j } \{a_j\} {aj​}绝对可和，至少应当是平方可和的。
3. 在满足 { a j } \{a_j\} {aj​}平方可和或绝对可和的情况下，无穷滑动和的$\mu =0,{\gamma }_k={\sigma }^2\sum _{j=-\infty }^{\infty }{a}_j{a}_{j+k}$。
4. 对于线性平稳序列，只要 { a j } \{a_j\} {aj​}平方可和，就一定有$\underset{k\to \infty }{\lim }{\gamma }_k=0$。因此在得到一组观测样本后，可以计算样本协方差函数，如果样本协方差函数趋向于0，就可以认为这组样本来自线性平稳序列。
5. 实际生活中，应用的更多的是单边滑动和，它利用了当前时间点$t$之前的所有白噪声信息。
   和，就一定有$\underset{k\to \infty }{\lim }{\gamma }_k=0$。因此在得到一组观测样本后，可以计算样本协方差函数，如果样本协方差函数趋向于0，就可以认为这组样本来自线性平稳序列。
6. 实际生活中，应用的更多的是单边滑动和，它利用了当前时间点$t$之前的所有白噪声信息。
7. 对于任何时间序列 { X t } \{X_t\} {Xt​}，可以用一组绝对可和的 { h j } \{h_j\} {hj​}进行线性滤波。特别地，矩形窗滤波器可以去除高频噪声的影响。