【时间序列分析】18.时间序列的递推预测

十八、时间序列的递推预测

1.零均值序列的递推预测

所谓递推预测，其实就是预测这样的问题：$L(Y_{n+1}|{\mathbf{Y}}_n)$，这里${\mathbf{Y}}_n=\overline{\mathrm{s}\mathrm{p}}(Y_n,\cdots ,Y_1)$，也就是用有限多项历史信息预测未来的信息。现在讨论零均值时间序列 { Y n } \{Y_n\} {Yn​}的递推预测，这里并不要求$Y_n$是平稳序列。

由于是递推预测，所以预测是一项一项进行的。对$Y_1$的预测由于没有任何历史信息，所以${\hat{Y}}_1=0$，而获得了$Y_1$的实际观测值后，就可以计算预测误差$W_1=Y_1-{\hat{Y}}_2$；接下来对$Y_2$的预测就是${\hat{Y}}_2=L(Y_2|{\mathbf{Y}}_1)$，得到$Y_2$的观测值后，又可以计算预测误差$W_2=Y_2-{\hat{Y}}_2$……由此，在进行我们需要的递推预测${\hat{Y}}_{n+1}=L(Y_{n+1}|{\mathbf{Y}}_n)$之前，我们已经可以获得以下的信息列：

• 预测序列 { Y ^ n } \{\hat Y_n\} {Y^n​}：${\hat{Y}}_1=0$，对$k\ge 1$有${\hat{Y}}_{k+1}=L(Y_{k+1}|{\mathbf{Y}}_k)$。
• 预测误差序列 { W n } \{W_n\} {Wn​}：$W_k=Y_k-{\hat{Y}}_k$，代表每一次预测的误差观测值。
• 预测误差方差 { ν n } \{\nu_n\} {νn​}：${\nu }_k=\mathrm{E}(W_{k+1}^2)$，代表每一次预测的均方误差（期望值）。注意这里计算${\nu }_k$时我们还没有获得$Y_{k+1}$的观测值。

注意到$W_k\perp {\mathbf{Y}}_{k-1}$且$W_k\in {\mathbf{Y}}_k$，所以 { W k } \{W_k\} {Wk​}是一个正交序列，有$\mathrm{E}(W_n{W}_k)={\nu }_{n-1}{\delta }_{n-k}$。

由于${\mathbf{Y}}_n$不是相互正交的，我们希望能够找到一个与${\mathbf{Y}}_n$等价的，但是互相正交的序列进行预测。事实上，预测误差序列就是这样的一个序列。记${\mathbf{W}}_n=\overline{\mathrm{s}\mathrm{p}}(W_1,\cdots ,W_n)$，我们现在要证明它与${\mathbf{Y}}_n$的等价性，也就是$\forall n,Y_n\in {\mathbf{W}}_n$。

使用数学归纳法，首先$Y_1=W_1\in M_1$是显然的，如果对$k\le n$都有$Y_k\in {\mathbf{W}}_k$，则对$k=n+1$，有
$$Y_{n+1}={\hat{Y}}_{n+1}+W_{n+1},$$
而${\hat{Y}}_{n+1}\in {\mathbf{Y}}_n$，也就是${\hat{Y}}_{n+1}\in {\mathbf{W}}_n$，且$W_{n+1}\in {\mathbf{W}}_{n+1}$，所以$Y_{n+1}\in {\mathbf{W}}_{n+1}$就证得了，也就意味着我们证明了
$${\mathbf{Y}}_n={\mathbf{W}}_n,\forall n,$$
因此我们用$W_1,\cdots ,W_n$预测$Y_{n+1}$是合理的，即${\hat{Y}}_{n+1}=L(Y_{n+1}|{\mathbf{Y}}_n)=L(Y_{n+1}|{\mathbf{W}}_n)$。

基于用预测误差预测未来的事实，引出如下的递推预测定理。

零均值序列的递推预测：设 { Y t } \{Y_t\} {Yt​}是零均值时间序列，如果$(Y_1,\cdots ,Y_{m+1}{)}^{\prime }$的协方差矩阵是正定的，则最佳线性预测可以如下表示：
$${\hat{Y}}_{n+1}=L(Y_{n+1}|{\mathbf{Y}}_n)=\sum _{j=0}^{n-1}{\theta }_{n,n-j}{W}_{j+1}.$$
现在给出预测系数、预测均方误差的递推式，定义${\sum }_{j=0}^{-1}(\cdot )=0$，则
$$\{\begin{array}{lc}{\nu }_0=\mathrm{E}{Y}_1^2,& \\ {\theta }_{n,n-k}=\frac{\mathrm{E}(Y_{n+1}{Y}_{k+1})-\sum _{j=0}^{k-1}{\theta }_{k,k-j}{\theta }_{n,n-j}{\nu }_j}{{\nu }_k},& 0\le k\le n-1,\\ {\nu }_n=\mathrm{E}(Y_{n+1}^2)-\sum _{j=0}^{n-1}{\theta }_{n,n-j}^2{\nu }_j.& \end{array}$$
如果 { Y t } \{Y_t\} {Yt​}是平稳的，则$\mathrm{E}(Y_{n+1}{Y}_{k+1})={\gamma }_{n-k},\mathrm{E}(Y_t^2)={\gamma }_0$。

下设$0\le k\le n-1$。要证明预测定理，只要对${\hat{Y}}_{n+1}={\sum }_{j=1}^n{\theta }_{n,j}{W}_{n+1-j}$的两边同时乘上$W_{k+1}$并求数学期望，就得到
$$\mathrm{E}({\hat{Y}}_{n+1}{W}_{k+1})={\theta }_{n,n-k}{\nu }_k,$$
而因为$W_{n+1}=Y_{n+1}-{\hat{Y}}_{n+1}$与$W_{k+1}$正交，$\mathrm{E}({\hat{Y}}_{n+1}{W}_{k+1})=\mathrm{E}(Y_{n+1}{W}_{k+1})$，所以
$${\theta }_{n,n-k}=\frac{\mathrm{E}(Y_{n+1}{W}_{k+1})}{{\nu }_k}=\frac{\mathrm{E}(Y_{n+1}(Y_{k+1}-{\sum }_{j=0}^{k-1}{\theta }_{k,k-j}{W}_{j+1}))}{{\nu }_k},$$
展开括号就得到结论，而${\nu }_j$很容易由勾股定理计算。总结一下，递推预测的系数应该如此计算：
$$\begin{array}{cccccc}{\nu }_0,& & & & {\hat{Y}}_1=0,& W_1=Y_1;\\ {\theta }_{1,1}& {\nu }_1,& & & {\hat{Y}}_2={\theta }_{1,1}{W}_1,& W_2=Y_2-{\hat{Y}}_2;\\ {\theta }_{2,2}& {\theta }_{2,1}& {\nu }_2,& & {\hat{Y}}_3={\theta }_{2,2}{W}_1+{\theta }_{2,1}{W}_2,& W_3=Y_3-{\hat{Y}}_3;\\ {\theta }_{3,3}& {\theta }_{3,2}& {\theta }_{3,3}& {\nu }_3,& {\hat{Y}}_4={\theta }_{3,3}{W}_1+{\theta }_{3,2}{W}_2+{\theta }_{3,1}{W}_3,& W_4=Y_4-{\hat{Y}}_4;\\ \cdots & \cdots & \cdots & \cdots & \cdots & \cdots \end{array}$$

2.平稳序列与$\mathrm{A}\mathrm{R}(p)$模型的递推预测

对于平稳序列，以上结论更加实用，因为可以将公式里的许多部分替换成自协方差函数。

零均值平稳列的递推预测：设 { X t } \{X_t\} {Xt​}是零均值平稳序列，${\Gamma }_n=({\gamma }_{|i-j|}{)}_{n\times n}$是其$n$阶自协方差矩阵，预测误差是$Z_t=X_t-L(X_t|{\mathbf{X}}_{t-1})$，则
$${\hat{X}}_{n+1}=\sum _{j=0}^{n-1}{\theta }_{n,n-j}{Z}_{j+1}.$$
满足如下的递推公式：定义${\sum }_{j=0}^{-1}(\cdot )=0$，则
$$\{\begin{array}{lc}{\nu }_0={\gamma }_0,& \\ {\theta }_{n,n-k}=\frac{{\gamma }_{n-k}-\sum _{j=0}^{k-1}{\theta }_{k,k-j}{\theta }_{n,n-j}{\nu }_j}{{\nu }_k},& 0\le k\le n-1,\\ {\nu }_n={\gamma }_0-\sum _{j=0}^{n-1}{\theta }_{n,n-j}^2{\nu }_j.& \end{array}$$
递推顺序与非平稳零均值序列一样。

此时，称预测误差$Z_n$为样本新息。

典型的平稳序列有$\mathrm{A}\mathrm{R}(p),\mathrm{M}\mathrm{A}(q)$与$\mathrm{A}\mathrm{R}\mathrm{M}\mathrm{A}(p,q)$序列，我们将分别讨论其递推预测，先从$\mathrm{A}\mathrm{R}(p)$序列开始。设 { X t } \{X_t\} {Xt​}满足$\mathrm{A}\mathrm{R}(p)$模型：
$$A(\mathcal{B})X_t={\epsilon }_t,X_t=\sum _{j=1}^p{a}_j{X}_{t-j}+{\epsilon }_t.$$
满足特征多项式$A(z)=1-{\sum }_{j=1}^p{a}_j{z}^j\ne 0,|z|\le 1$。事实上，由于${\epsilon }_t$与历史信息无关，所以直觉上，应该会有$X_t$只需要用其前$p$项预测即可，也就是
$$L(X_{n+1}|{\mathbf{X}}_n)=L(X_{n+1}|X_n,X_{n-1},\cdots ,X_{n-p+1}).$$
事实上也确实如此，因为
$$L(X_{n+1}|{\mathbf{X}}_n)=L\left(\sum _{j=1}^p{a}_j{X}_{n-j}+{\epsilon }_t|{\mathbf{X}}_n\right)=\sum _{j=1}^p{a}_j{X}_{n-j}.$$
由数学归纳法可以得到$L(X_{n+k}|{\mathbf{X}}_n)=L(X_{n+k}|X_n,X_{n-1},\cdots ,X_{n-p+1})$，也就是说$\mathrm{A}\mathrm{R}(p)$模型的预测总只需要前$p$项即可。那么，前$p$项应该如何预测呢？这就可以用到平稳序列的递推公式了，我们假设白噪声方差为${\sigma }^2$。
$${\hat{X}}_1=0,{\nu }_0={\gamma }_0,Z_1=X_1.$$
接下来计算${\theta }_{1,1}$，有
$${\theta }_{1,1}=\frac{{\gamma }_1}{{\nu }_0}=\frac{{\gamma }_1}{{\gamma }_0},{\hat{X}}_2=\frac{{\gamma }_1}{{\gamma }_0}{X}_1,Z_2=X_2-\frac{{\gamma }_1}{{\gamma }_0}{X}_1,$$
再计算${\theta }_{2,2}$和${\theta }_{2,1}$，有
$${\theta }_{2,2}=\frac{{\gamma }_2}{{\gamma }_0},{\theta }_{2,1}=\frac{{\gamma }_1-{\theta }_{1,1}{\theta }_{2,2}{\nu }_0}{{\nu }_1},{\hat{X}}_3={\theta }_{2,2}{X}_1+{\theta }_{2,1}(X_2-\frac{{\gamma }_1}{{\gamma }_0}{X}_1).$$
以此类推计算。

3.$\mathrm{M}\mathrm{A}(q)$与$\mathrm{A}\mathrm{R}\mathrm{M}\mathrm{A}(p,q)$序列的递推预测

$\mathrm{M}\mathrm{A}(q)$序列是有限滑动和，序列满足$X_t=B(\mathcal{B}){\epsilon }_t$，且自协方差函数$q$后截尾，因此
$$L(X_{n+1}|{\mathbf{X}}_n)=L(X_{n+1}|X_n,X_{n-1},\cdots ,X_{n-q+1}),n\ge q.$$
现在讨论$n\ge q$时的预测，并假设${\hat{\epsilon }}_n=X_n-{\hat{X}}_n$为逐步预测误差序列。有
$$L(X_{n+1}|{\mathbf{X}}_n)=L(X_{n+1}|X_n,X_{n-1},\cdots ,X_{n-q+1})=L(X_{n+1}|{\hat{\epsilon }}_n,\cdots ,{\hat{\epsilon }}_{n-q+1}).$$
这是因为${\mathbf{X}}_n$的张成空间与 { ε ^ n } \{\hat\varepsilon_n\} {ε^n​}张成空间在任何$n$都相同，所以每次增加的$X_{n+1}$与${\hat{\epsilon }}_{n+1}$都位于同一纬度。接下来，按照递推公式计算系数${\theta }_{n,1},\cdots ,{\theta }_{n,q}$即可。

$\mathrm{A}\mathrm{R}\mathrm{M}\mathrm{A}(p,q)$序列则复杂一写，它不像$\mathrm{A}\mathrm{R}(p)$序列一样可由前有限项决定，也不像$\mathrm{M}\mathrm{A}(q)$序列一样$q$后截尾，假设模型是$A(\mathcal{B})X_t=B(\mathcal{B}){\epsilon }_t$，考虑一个这样的变换
$$m\stackrel{def}{=}\max (p,q),Y_t=\{\begin{array}{lc}{X}_t/\sigma ,& t=1,2,\cdots ,m;\\ A(\mathcal{B})X_t/\sigma ,& t>m.\end{array}$$
这样定义的$Y_t$与白噪声方差${\sigma }^2$无关，且当$t>m$时，有
$$\sigma Y_t=B(\mathcal{B}){\epsilon }_t,\Rightarrow Y_t=B(\mathcal{B}){\tilde{\epsilon }}_t,t>m.$$
也就是当$Y_t>m$的部分是一个$\mathrm{M}\mathrm{A}(q)$模型，从而是$q$后截尾的。设$W_t$是$Y_t$的预测误差，这样定义$Y_t$的好处有以下几点。

首先，$Y_t,X_t$的张成空间一样，即${\mathbf{Y}}_t={\mathbf{X}}_t$，从$Y_t$的定义，当$t\le m$时可以直接看出，当$t>m$时也显然有$Y_t\in {\mathbf{X}}_t$，并且可以用数学归纳法证明$X_t\in {\mathbf{Y}}_t$，从而${\mathbf{X}}_t={\mathbf{Y}}_t$。如果设${\mathbf{W}}_t$是$W_1,\cdots ,W_t$的张成空间，则又有${\mathbf{Y}}_t={\mathbf{W}}_t$，从而有
$${\mathbf{X}}_t={\mathbf{Y}}_t={\mathbf{W}}_t.$$
其次，由于$Y_t$与$X_t$的联系，也可以用$X_t$的自协方差函数${\gamma }_k$表示$Y_t$的协方差（但要注意$Y_t$在跨越$m$时不平稳从而不是平稳过程）。当$s\le t\le m$时$Y_t$与$X_t$一样都是$\mathrm{A}\mathrm{R}\mathrm{M}\mathrm{A}(p,q)$模型，当$t\ge s>m$时$Y_t$是$\mathrm{M}\mathrm{A}(q)$模型，它们的自协方差函数都容易表达，所以只要考虑$s\le m<t$的情况即可。有
$$\begin{gathered} \mathrm{E}(Y_s{Y}_t)=\{\begin{array}{lc}{\sigma }^{-2}{\gamma }_{t-s},& 1\le s\le t\le m;\\ {\sigma }^{-2}[{\gamma }_{t-s}-{\sum }_{j=1}^p{a}_j{\gamma }_{t-s-j}],& 1\le s\le m<t;\\ {\sum }_{j=0}^q{b}_j{b}_{j+t-s},& t\ge s>m.\end{array} \\ {b}_0=1,b_j=0(j>q). \end{gathered}$$
最后，$Y_t$的预测误差$W_t$和$X_t$的预测误差$Z_t$之间也存在联系。当$1\le t\le m$时，
$$W_t=Y_t-{\hat{Y}}_t=\frac{X_t}{\sigma }-\frac{1}{\sigma }L(X_t|{\mathbf{X}}_{t-1})=\frac{1}{\sigma }{Z}_t,$$
当$t>m$时，
$$W_t=\frac{1}{\sigma }[A(\mathcal{B})X_t-L(A(\mathcal{B})X_t|{\mathbf{X}}_t)]=\frac{1}{\sigma }[X_t-L(X_t|{\mathbf{X}}_{t-1})]=\frac{1}{\sigma }{Z}_t.$$
也就是说，不论$t$取什么值，$W_t$与$Z_t$之间总只相差一个常数倍，所以它们的均方误差之间也只差${\sigma }^2$倍。

接下来就从形式相对简单的$Y_t$入手，推广到$X_t$的预测。对于$1\le n\le m$，有
$$\begin{gathered} {\hat{Y}}_{n+1}=\sum _{j=0}^{n-1}{\theta }_{n,n-j}{W}_{j+1}, \\ {\hat{X}}_{n+1}=\sigma {\hat{Y}}_{n+1}=\sigma \sum _{j=0}^{n-1}{\theta }_{n,n-j}{W}_{j+1}=\sum _{j=0}^{n-1}{\theta }_{n,n-j}{Z}_{j+1}. \end{gathered}$$
对于$n>m$，此时$Y_{n+1}={\sigma }^{-1}B(\mathcal{B}){\epsilon }_{n+1}$，是一个$\mathrm{M}\mathrm{A}(q)$序列，所以结合前面对白噪声序列的讨论，
$$L(Y_{n+1}|{\mathbf{Y}}_n)=\sum _{j=1}^q{\theta }_{n,j}{W}_{n+1-j}.$$
又因为$\sigma Y_t=A(\mathcal{B})X_t$，所以
$$\begin{gathered} X_{n+1}=\sigma Y_{n+1}+\sum _{j=1}^p{a}_j{X}_{n+1-j}, \\ {\hat{X}}_{n+1}=\sum _{j=1}^q{\theta }_{n,j}{Z}_{n+1-j}+\sum _{j=1}^p{a}_j{X}_{n+1-j}. \end{gathered}$$
可以看出，在$n>m$时，对$X_{n+1}$的最佳线性预测，既有$\mathrm{A}\mathrm{R}(p)$序列的有限项因素，也有$\mathrm{M}\mathrm{A}(q)$序列预测的$q$后截尾性。

回顾总结

1. 对于零均值序列的递推预测，因为${\mathbf{Y}}_n={\mathbf{W}}_n$，一般会选择用预测误差序列进行线性预测，这是因为预测误差序列具有正交性。

2. 具体到平稳序列 { X t } \{X_t\} {Xt​}情形，如果预测误差为$Z_t$，自协方差函数为${\gamma }_k$，则递推公式为
   $$\begin{gathered} {\hat{X}}_{n+1}=\sum _{j=0}^{n-1}{\theta }_{n,n-j}{W}_{j+1}. \\ {\nu }_0={\gamma }_0, \\ {\theta }_{n,n-k}=\frac{{\gamma }_{n-k}-{\sum }_{j=0}^{n-1}{\theta }_{k,k-j}{\theta }_{n,n-j}{\nu }_j}{{\nu }_k} \\ {\nu }_n={\gamma }_0-\sum _{j=0}^{n-1}{\theta }_{n,n-j}^2{\nu }_j. \end{gathered}$$

3. $\mathrm{A}\mathrm{R}(p)$序列的预测，只需要用前$p$个历史信息即可；$\mathrm{M}\mathrm{A}(q)$序列的预测，只需要用前$q$个预测误差即可。

4. $\mathrm{A}\mathrm{R}\mathrm{M}\mathrm{A}(p,q)$序列的预测，可以构造一个辅助序列，使其具有更简单的形式。具体地，有
   $${\hat{X}}_{n+1}=\{\begin{array}{lc}\sum _{j=0}^{n-1}{\theta }_{n,n-j}{Z}_{j+1},& n\le m;\\ \sum _{j=1}^q{\theta }_{n,1}{Z}_{n-q+j}+\sum _{j=1}^p{a}_j{X}_{n+1-j},& n>m.\end{array}$$