【时间序列分析】16.平稳序列的决定性

十六、平稳序列的决定性

1.非决定性平稳序列

上一篇文章中，讨论了随机变量的最佳线性预测，而时间序列是随机变量构成的序列，我们要考虑的是对时间序列进行预测，而预测用到的历史信息，就来源于时间序列的历史观测。

由于最佳线性预测源自历史与未来的相关性，所以如果想对时间序列进行预测，未来必须与过去存在一定程度的关联，否则预测就没有意义。但是，未来与过去存在的关联程度可能是不一样的，看以下几个例子：

1. { X t } : X t = X t − 1 + t \{X_t\}:X_t=X_{t-1}+t {Xt​}:Xt​=Xt−1​+t；
2. { Y t } : Y t = ε t \{Y_t\}:Y_t=\varepsilon_t {Yt​}:Yt​=εt​；
3. { Z t } : Z t = 0.5 Z t − 1 + ε t \{Z_t\}:Z_t=0.5Z_{t-1}+\varepsilon_t {Zt​}:Zt​=0.5Zt−1​+εt​。

这三个例子代表的过去与未来的关联程度是各不相同的，对于 { X t } \{X_t\} {Xt​}，只要知道$X_{t-1}$的值就可以直接推出$X_t$，也就是说$X_t=L(X_t|X_{t-1})$，这种情况下不存在预测误差；对于 { Y t } \{Y_t\} {Yt​}，不论知道多少历史信息$Y_{t-1},Y_{t-2},\cdots$，对$Y_t$的预测都没有任何帮助，$L(Y_t|Y_{t-1},\cdots )=0$；而第三种情况稍微复杂一些，任意历史信息对未来都会造成一定程度的影响（0.5是影响消退因子），但即便知道所有历史信息，也不可能对未来作出精准预测，因为存在偏差项${\epsilon }_t$。

鉴于这种区别，我们将平稳序列分为两种，一种是由历史信息可以对未来作出精准预测的，称为决定性平稳序列；另一种是由历史信息不可能完全预测未来的，称之为非决定性平稳序列。

这种定义未免有点粗糙，以下假设平稳序列是零均值的。我们现在假设我们能够获得所有$t$时刻前的历史信息$X_t,X_{t-1},\cdots$，记
$${\mathbf{X}}_{t,m}=(X_t,X_{t-1},\cdots ,X_{t-m+1}{)}_m,$$
这样当$m\to \infty$时就代表所有历史信息。精准预测意味着预测不存在误差，也就是方差为0，如果$X_t$是决定性平稳序列，那么就有
$$\underset{m\to \infty }{\lim }\mathrm{E}[X_{t+1}-L(X_{t+1}|{\mathbf{X}}_{t,m}){]}^2=0.$$
事实上，即使不是决定性平稳序列，这个极限也是存在的，因为随着$m$的增大，这个均方误差会回来越小（因为$m$越大蕴含的信息越多，由最佳线性预测的性质可以得到），也就是单调递减有下界0。正因此，我们将这个极限定义为一步预测的均方误差，这里的下标就是预测步数：
$${\sigma }_1^2=\underset{m\to \infty }{\lim }\mathrm{E}[X_{t+1}-L(X_{t+1}|{\mathbf{X}}_{t,m}){]}^2.$$

一步预测的均方误差：定义
$${\sigma }_{1,m}^2=\mathrm{E}[X_{t+1}-L(X_{t+1}|{\mathbf{X}}_{t,m}){]}^2,$$
这表示用$m$个历史信息对下一个时间点进行预测的均方误差。定义
$${\sigma }_1^2=\underset{m\to \infty }{\lim }{\sigma }_{1,m}^2,$$
这表示用全部历史信息对下一个时间点进行预测的均方误差，即一步预测的均方误差。

平稳序列的决定性：

1. 如果${\sigma }_1^2=0$，就称 { X t } \{X_t\} {Xt​}是决定性平稳序列；
2. 如果${\sigma }_1^2>0$，就称 { X t } \{X_t\} {Xt​}是非决定性平稳序列，${\sigma }_1^2$是一步预测的均方误差。

这就是决定性平稳序列的严格定义。注意到以上的符号表示${\sigma }_1^2,{\sigma }_{1,m}^2$都不含$t$，尽管在定义时使用了$t$，这也说明${\sigma }_1^2,{\sigma }_{1,m}^2$的取值是与$t$无关的，这一点源自序列的平稳性。

2.平稳序列的长期预测

刚才我们定义了一步预测的均方误差${\sigma }_1^2$，现在转向$k$步预测，也就是$L(X_{t+k}|{\mathbf{X}}_{t,m})$，相应地也可以定义$k$步预测的均方误差${\sigma }_k^2$。

$k$步预测的均方误差：定义
$${\sigma }_k^2=\underset{m\to \infty }{\lim }\mathrm{E}[X_{t+k}-L(X_{t+k}|{\mathbf{X}}_{t,m})]$$
为$k$步预测的均方误差。

这样，可以构建一个新序列 { σ 1 2 , σ 1 2 , ⋯   , σ k 2 , ⋯   } \{\sigma_1^2,\sigma_1^2,\cdots,\sigma_k^2,\cdots\} {σ12​,σ12​,⋯,σk2​,⋯}，可以验证${\sigma }_k^2$是关于$k$单调不减少的。直观上想象，随着预测距离的增大，我们能对遥远未来的把控就越小，所以预测的误差肯定会越来越大，实际上也有
$$\begin{array}{rl}{\sigma }_k^2=& \underset{m\to \infty }{\lim }\mathrm{E}[X_{t+k}-L(X_{t+k}|X_t,\cdots ,X_{t-m}){]}^2\\ =& \underset{m\to \infty }{\lim }\mathrm{E}[X_{t+k-1}-L(X_{t+k-1}|X_{t-1},\cdots ,X_{t-1-m}){]}^2\\ \ge & \underset{m\to \infty }{\lim }\mathrm{E}[X_{t+k-1}-L(X_{t+k-1}|X_t,\cdots ,X_{t-1-m}){]}^2\\ =& {\sigma }_{k-1}^2.\end{array}$$
但是${\sigma }_k^2$也不可能无限增大，因为${\sigma }_{k,m}^2=\mathrm{E}[X_{t+k}-L(X_{t+k}|{\mathbf{X}}_{t,m}){]}^2\le \mathrm{E}{X}_{t+k}^2={\gamma }_0$，因此 { σ k 2 } \{\sigma_k^2\} {σk2​}单调不减有上界，故极限存在，且极限的上界为${\gamma }_0$。

当然，$k\to \infty$时如果${\sigma }_k^2={\gamma }_0$，这个预测跟不存在也没有区别了，所以定义纯非决定性平稳序列。

纯非决定性平稳序列：如果对于平稳序列，有
$$\underset{k\to \infty }{\lim }{\sigma }_k^2={\gamma }_0,$$
就称 { X t } \{X_t\} {Xt​}是纯非决定性的。

刚才我们推知，如果${\sigma }_k^2\to {\gamma }_0$，这个预测与不存在无异，其实也可以证明：
$$\underset{k\to \infty }{\lim }\underset{m\to \infty }{\lim }\mathrm{E}[L(X_{t+k}|X_t,X_{t-1},\cdots ,X_{t-m}){]}^2=0,$$
也就是$L(X_{t+k}|X_t,\cdots ,X_{t-m})$随着$k$的增大均方收敛到0，这说明对于非决定性平稳序列，无法做长期预测。

3.决定性平稳序列举例

最简单的决定性平稳序列，是 { X t } : X t = ξ \{X_t\}:X_t=\xi {Xt​}:Xt​=ξ，这样，从变量的一个观测值就可以得到全部时间序列。这里， { X t } \{X_t\} {Xt​}的二阶协方差矩阵为
$${\Gamma }_2=\left[\begin{array}{cc}{\sigma }^2& {\sigma }^2\\ {\sigma }^2& {\sigma }^2\end{array}\right],|{\Gamma }_2|=0.$$
也就是说， { X t } \{X_t\} {Xt​}的二阶协方差矩阵不满秩，正因此，只需要一个历史信息就可以对未来作出精准预测。能否对这个结论进行推广呢？事实上，如果平稳序列 { X t } \{X_{t}\} {Xt​}的$n+1$阶自协方差矩阵退化，那么这个平稳序列一定是决定性的，且可以由其前$n$个历史信息完全预测。

这是因为，$n+1$阶自协方差矩阵退化，意味着$X_1,\cdots ,X_{n+1}$必定线性相关；如果再加上${\Gamma }_n$满秩的条件，就一定有$X_{n+1}$可以被$X_1,\cdots ,X_n$线性表示，这样就有
$$\begin{gathered} L(X_{n+1}|X_1,\cdots ,X_n)=X_{n+1}, \\ \mathrm{E}[X_{n+1}-L(X_{n+1}|X_1,\cdots ,X_n){]}^2=0. \end{gathered}$$
由此推出离散谱序列也是决定性平稳序列。设$\mathrm{E}({\xi }_j)=\mathrm{E}({\eta }_k)=0,\mathrm{E}({\xi }_j{\eta }_k)=0$，且$\mathrm{E}({\xi }_j^2)=\mathrm{E}({\eta }_k^2)={\sigma }_j^2$，对每一个确定的$j$定义简单谱序列
$$Z_j(t)={\xi }_j\cos (t{\lambda }_j)+{\eta }_j\sin (t{\lambda }_j),t\in \mathbb{Z}.$$
显然$Z_j(t)$的每一次实现是一个周期函数，其周期$T=2\pi /{\lambda }_j$和振幅可以由历史信息决定，实际上它的3阶自协方差矩阵退化，所以$Z_j(t)$是决定性的。定义离散谱序列
$$Z_t=\sum _{j=1}^p{Z}_j(t),t\in {\mathbb{N}}^{+},$$
这时$Z_t$的自协方差矩阵也是$2p+1$阶内退化的（所以是决定性的），用到如下引理：

(1)简单离散谱序列：设$\mathrm{E}(\xi )=\mathrm{E}(\eta )=\mathrm{E}(\xi \eta )=0,\mathrm{E}({\xi }^2)=\mathrm{E}({\eta }^2)={\sigma }^2,{\lambda }_0\in (0,\pi ]$， { Z t } \{Z_t\} {Zt​}的定义为
$$Z_t=\xi \cos (t{\lambda }_0)+\eta \sin (t{\lambda }_0),t\in \mathbb{N},$$
定义$A=\sqrt{{\xi }^2+{\eta }^2},\cos \theta =\xi /A,\sin \theta =\eta /A$，则
$$Z_t=A\cos (t{\lambda }_0-\theta ),t\in {\mathbb{N}}^{+}.$$
这样$\mathrm{E}{Z}_t=0$，${\gamma }_k={\sigma }^2\cos (k{\lambda }_0)$，故$Z_t$是一个平稳序列，称为调和平稳序列。并且，这个平稳序列的谱函数是阶梯函数，称之为离散谱序列。

(2)多个频率成分的离散谱序列：设${\xi }_j,{\eta }_k(j,k=1,2,\cdots ,p)$两两正交，满足上面的条件，对于正整数$p$和${\lambda }_j\in (0,\pi ]$，定义时间序列
$$Z_t=\sum _{i=1}^p[{\xi }_j\cos (t{\lambda }_j)+{\eta }_j\sin (t{\lambda }_j)]=\sum _{j=1}^p{A}_j\cos (t{\lambda }_j-{\theta }_j),t\in {\mathbb{N}}^{+},$$
这里$A_j=\sqrt{{\xi }_j^2+{\eta }_j^2},\cos ({\theta }_j)={\xi }_j/A_j,\sin ({\theta }_j)={\eta }_j/A_j$，它的谱函数也是阶梯函数。

(3)${\Gamma }_n$退化定理：设离散谱序列 { X t } \{X_t\} {Xt​}如(2)中定义，如果它的谱函数$F(\lambda )$恰有$n$个跳跃点，则${\Gamma }_n$正定，${\Gamma }_{n+1}$退化；如果$F(\lambda )$有无穷多个跳跃点，则$\forall n\ge 1$，${\Gamma }_n$正定。

由此，如果${\Gamma }_n$退化，就认为 { X n } \{X_n\} {Xn​}是离散谱序列，具有周期性。

回顾总结

1. 非决定性平稳序列指的是将来信息不能由全部历史信息所确定的平稳序列，更具体的定义是
   $${\sigma }_1^2=\underset{m\to \infty }{\lim }{\sigma }_{1,m}^2=\underset{m\to \infty }{\lim }\mathrm{E}[X_{n+1}-L(X_{n+1}|{\mathbf{X}}_{n,m}){]}^2\ne 0.$$
   否则，称为决定性平稳序列。

2. { σ k 2 } \{\sigma_k^2\} {σk2​}是单调不减有上界的数列，其上界是${\gamma }_0$，如果${\sigma }_k^2\to {\gamma }_0(k\to \infty )$，则称平稳序列是纯非决定性平稳序列。对于这种平稳序列，进行长期预测是不合适的。

3. 如果平稳序列的$n+1$阶自协方差矩阵${\Gamma }_{n+1}$退化，则矩阵必是$n$步决定的。