【时间序列分析】06.自回归模型基础

六、自回归模型前置准备

1.推移算子

自回归模型是时间序列分析中一种基础模型，在引入这个模型之前，先引入一些便捷表达会让我们的讨论更加轻松。

首先是推移算子$\mathcal{B}$，这是一个很好理解的概念，作用于某个时间序列中的随机变量上，相当于将其时间指标向前移动一位，即$\mathcal{B}{X}_t=X_{t-1}$，自然有${\mathcal{B}}^n{X}_t=X_{t-n}$。推移算子$\mathcal{B}$是作用于时间序列的时间指标$t$的，如果一个随机变量不依赖于时间，那么推移算子对它不起作用，即$\mathcal{B}Y=Y$。

这个算子的便利性，在于它可以与多项式结合，表示时间序列的线性组合。以我们的线性平稳序列为例，我们定义了$X_t=\sum _{j=-\infty }^{\infty }{a}_j{\epsilon }_{t-j}$，但每写一个$X_t$都要写一次求和号很麻烦，如果此时我们引入一个多项式$\psi (z)=\sum _{j=-\infty }^{\infty }{a}_j{z}^j$，结合推移算子，就有$X_t=\psi (\mathcal{B}){\epsilon }_t$，一下就变得简洁得多了。同时，推移算子的引入，也将这种滑动和与多项式建立了联系，以后我们可以通过对多项式的研究来讨论平稳序列的线性组合。

总的说来，令$\psi (z)=\sum _{j=-\infty }^{\infty }{b}_j{z}^j$，只要级数$\sum _{j=-\infty }^{\infty }{b}_j{X}_{t-j}$在某种意义下收敛，就定义
$$\psi (\mathcal{B})=\sum _{j=-\infty }^{\infty }{b}_j{\mathcal{B}}^j,\psi (\mathcal{B})X_t=\sum _{j=-\infty }^{\infty }{b}_j({\mathcal{B}}^j{X}_t)=\sum _{j=-\infty }^{\infty }{b}_j{X}_{t-j}.$$
其相关性质都比较简单，这里带过不说了。

2.常系数线性差分方程及其解

自回归模型的表现形式就是一种常系数线性差分方程，所以在引入自回归模型之前，不如先介绍这一种大类。常系数线性差分方程又可以分为齐次和非齐次的，表现形式常系数线性微分方程，因此我们也像讨论微分方程一样讨论差分方程。

常系数齐次线性方程就是在给定一组数$(a_1,\cdots ,a_p)$的情况下的此方程：
$$X_t-(a_1{X}_{t-1}+a_2{X}_{t-2}+\cdots +a_p{X}_{t-p})=0,t\in \mathbb{Z}.$$
这被称作$p$阶齐次常系数线性差分方程，简称为齐次差分方程，满足此方程的时间序列（实值或复值）被称为齐次差分方程的解。结合刚才所说的推移算子，如果定义$A(z)=1-\sum _{j=1}^p{a}_j{z}^p$，那么$A(\mathcal{B})X_t=0$，也就是说差分方程由这个多项式$A(z)$唯一决定，故称此多项式$A(z)$为齐次差分方程的特征多项式。

如果给定一组初值$(X_0,\cdots ,X_{p-1})$，则根据递推公式，可以唯一确定任何一个$X_t$，不论$t$是正整数还是负整数，那么根据初值的任意性，齐次差分方程的解有无限多个。并且，如果 { X t } , { Y t } \{X_t\},\{Y_t\} {Xt​},{Yt​}都是方程的解，那么它们的线性组合$Z_t=\xi X_t+\eta Y_t$也是方程的解，因此齐次差分方程的解空间是一个线性空间，一切都与常系数齐次线性方程的如此相似。

那么我们自然会猜想，齐次差分方程的解会不会与齐次微分方程有类似的形式呢？现在，我们给出常系数差分方程的解形式。

齐次差分方程解的定理：设多项式$A(z)=1-\sum _{j=1}^p{a}_j{z}^j$有$k$个不同的零点$z_1,\cdots ,z_k$，每个零点$z_j$的重数是$r(j)$，也就是
$$A(z)=\prod _{j=1}^k(1-\frac{z}{z_j}{)}^{r(j)},$$
那么对任何$1\le j\le k,0\le l\le r(j)-1$，都有
$$A(\mathcal{B})t^l{z}_j^{-t}=0.$$
也就是$t^l{z}_j^{-t}$是方程的解，进一步方程的通解为
$$X_t=\sum _{j=1}^k\sum _{l=0}^{r(j)-1}{U}_{l,j}{t}^l{z}_j^{-t},t\in \mathbb{Z}.$$

举个例子，如果$A(z)=\frac{1}{6}(2-z)(3-z)=1-\frac{5}{6}z+\frac{1}{6}{z}^2$，则它有两个一重根$z_1=2,z_2=3$，所以方程$A(\mathcal{B})X_t=0$有两个解，分别为$2^{-t},3^{-t}$。通过此定理，我们可以发现齐次差分方程解的固定部分都是非随机的，前面的随机变量系数$U_{l,j}$由初值$(X_0,\cdots ,X_{p-1})$唯一确定。

我们可以对 { t l z j − t } \{t^lz_j^{-t}\} {tlzj−t​}是方程的解作出证明，根据$A(z)$的分解，我们只需要证明$(1-z_j^{-1}\mathcal{B}{)}^{r(j)}{t}^l{z}_j^{-t}=0$成立即可。由于$l\le r(j)-1$，所以我们可以把$(1-z_j^{-1}\mathcal{B}{)}^{r(j)}$拆成$(1-z_j^{-1}\mathcal{B}{)}^{[l+1]+[r(j)-(l+1)]}$两部分，进一步，只需要证明$(1-z_j^{-1}\mathcal{B}{)}^{l+1}{t}^l{z}_j^{-t}=0$即可。使用数学归纳法，对于$l=0$，显然有
$$(1-z_j^{-1}\mathcal{B})z_j^{-t}=z_j^{-t}-z_j^{-1}{z}_j^{-(t-1)}=0.$$
进一步假设对于$0\le l<m$都有$(1-z_j^{-1}\mathcal{B}{)}^{l+1}{t}^l{z}_j^{-t}$，那么对于$l=m$时，就有
$$\begin{array}{rl}& (1-z_j^{-1}\mathcal{B}{)}^{m+1}{t}^m{z}_j^{-t}\\ =& (1-z_j^{-1}\mathcal{B}{)}^m[t^m{z}_j^{-t}-z_j^{-1}(t-1{)}^m{z}_j^{-(t-1)}]\\ =& (1-z_j^{-1}\mathcal{B}{)}^m[b_1{t}^{m-1}+b_2{t}^{m-2}+\cdots +b_{m-1}t+b_m]z_j^{-t}\\ =& b_1(1-z_j^{-1}\mathcal{B}{)}^m{t}^{m-1}{z}_j^{-t}+\cdots +b_{m-1}(1-z_j^{-1}\mathcal{B}{)}^{m}t{z}_j^{-t}+b_m(1-z_j^{-1}\mathcal{B}{)}^m{z}_j^{-t}\\ =& 0.\end{array}$$
这里第一个等号是将$(1-z_j^{-1}\mathcal{B}{)}^{m+1}$拆成$m$次和$1$次的，并将$1$次的作用于$t^m{z}_j^{-t}$；第二个等号是将$z_j^{-t}$提出来，并对$t^m-(t-1{)}^m$进行同类项合并；第三个等号将线性组合拆开；第四个等号中可以将每一项拆成含有归纳假设的部分，得到0的结果。这样，我们就证明了 { t l z j − t } \{t^lz_j^{-t}\} {tlzj−t​}是方程的解，并且有证明显示，方程的所有解都具有这样的形式，于是得到命题中显示的格式。

对于非齐次的情况，即方程从$A(\mathcal{B})X_t=0$变成了$A(\mathcal{B})X_t=Y_t$，这里$Y_t$是实值时间序列，我们依然将$A(z)$称为特征多项式，并且类比可以知道，如果这个方程存在一个特解$X_t^{(0)}$，则非齐次方程的通解可以表现为特解+通解的形式，也即
$$X_t=X_t^{(0)}+\sum _{j=1}^k\sum _{l=0}^{r(j)-1}{U}_{l,j}{t}^l{z}_j^{-t}.$$

事实上，斐波那契数列就是典型的齐次差分方程，满足$F_t-F_{t-1}-F_{t-2}=0$，其特征多项式为$F(z)=1-z-z^2$，有两个根
$$z_1=-\frac{\sqrt{5}+1}{2},z_2=\frac{\sqrt{5}-1}{2},$$
所以通解应该是$F_t=U_1{z}_1^{-t}+U_2{z}_2^{-t}$，又因为$F_1=F_2=1$，代入解出$U_1,U_2$后得到通项公式
$$F_t=\frac{1}{\sqrt{5}}\left[{\left(\frac{1+\sqrt{5}}{2}\right)}^n-{\left(\frac{1-\sqrt{5}}{2}\right)}^n\right].$$

3.差分方程解的一些性质

由于我们无法保证$A(z)$的所有根都是实根，难免有复根出现，因此我们不妨将它统一成复数表达，即$z_j={\rho }_j{e}^{\mathrm{i}{\lambda }_j}$，这里${\rho }_j$是$z_j$的模长，${\lambda }_j$是$z_j$的辐角，顺便将随机变量$U_{l,j}$也写成$U_{l,j}=V_{l,j}{e}^{\mathrm{i}{\theta }_{l,j}}$，那么通解可以表示成
$$X_t=\sum _{j=1}^k\sum _{l=0}^{r(j)-1}{U}_{l,j}{t}^l{z}_j^{-t}=\sum _{j=1}^k\sum _{l=0}^{r(j)-1}{V}_{l,j}{e}^{\mathrm{i}{\theta }_{l,j}}{t}^l{\rho }_j^{-t}{e}^{-\mathrm{i}{\lambda }_{j}t}=\sum _{j=1}^k\sum _{l=0}^{r(j)-1}{V}_{l,j}{t}^l{\rho }_j^{-t}{e}^{\mathrm{i}({\theta }_{l,j}-{\lambda }_{j}t)}.$$
我们发现此时的通解并不是实值解，如果我们要将其解限制在实值上，就要将通解取为复变量的实部或虚部，以下两种都是实解的表现形式，一般我们取实部，即$\cos$的那一种。
$$\begin{gathered} \Re \left(\sum _{j=1}^k\sum _{l=0}^{r(j)-1}{V}_{l,j}{t}^l{\rho }_j^{-t}{e}^{\mathrm{i}({\theta }_{l,j}-{\lambda }_{j}t)}\right)=\sum _{j=1}^k\sum _{l=0}^{r(j)-1}{V}_{l,j}{t}^l{\rho }_j^{-t}\cos ({\lambda }_{j}t-{\theta }_{l,j}), \\ \Im \left(\sum _{j=1}^k\sum _{l=0}^{r(j)-1}{V}_{l,j}{t}^l{\rho }_j^{-t}{e}^{\mathrm{i}({\theta }_{l,j}-{\lambda }_{j}t)}\right)=\sum _{j=1}^k\sum _{l=0}^{r(j)-1}{V}_{l,j}{t}^l{\rho }_j^{-t}\sin ({\lambda }_{j}t-{\theta }_{l,j}). \end{gathered}$$
因为$U_{l,j}$是由初值$(X_0,\cdots ,X_{p-1})$唯一决定的，所以作为$U_{l,j}$的模和辐角的$V_{l,j},{\theta }_{l,j}$也是由初值唯一决定的。

接下来我们讨论解的收敛性，从通解的形式可以看出，如果$A(z)$的根$z_j$都在单位圆外，即$|z_j|={\rho }_j>1$，那么必定存在一个正数$\alpha \in (1,\underset{j}{\min }{\rho }_j)$，当$t\to \infty$时，
$$t^l{\rho }_j^{-t}=t^l{\left|\frac{\alpha }{{\rho }_j}\right|}^t{\alpha }^{-t}=o({\alpha }^{-t}),即t^l{\left|\frac{\alpha }{{\rho }_j}\right|}^t=o(1),t\to \infty .$$
也就是任何一个基础解都以负指数阶收敛到0（是$o({\alpha }^{-t})$），则通解作为基础解的线性组合，自然也是以负指数阶收敛到0的$o({\alpha }^{-t})$。

研究这个的意义是什么呢？通解的收敛性，代表不管取什么样的初值（决定的什么样的$U_{l,j}$），随着时间的不断增加，通解都会趋向于可以忽略不计的。那么对于非齐次差分方程，它的通解是特解+齐次差分方程的通解，随着时间的推移将只与特解的性质有关，而如果特解也是收敛的，这样非齐次差分方程的通解就可以不受初值影响，最后呈现出某种规律。

从刚才的论证过程，可以发现，要想通解收敛，就必须让所有的${\rho }_j>1$。而如果有一个${\rho }_j=1$，对应的基础解就是$V_{l,j}{t}^l\cos ({\lambda }_{j}t-{\theta }_{l,j})$，呈现出某种周期性，而且必定有一个周期解为$a\cos ({\lambda }_{j}t)$。而如果有${\rho }_j<1$，对应的基础解就会迅速发散于无穷大，此时方程的解是无法预测的。

正因如此，我们接下来要研究的自回归方程，是一种常系数非齐次差分方程，并且它的通解是收敛的，这才有研究的意义。

回顾总结

1. 推移算子$\mathcal{B}$是作用于时间序列的，$\mathcal{B}{X}_t=X_{t-1}$，与多项式进行结合可以简便地表示时间序列的线性组合。

2. 常系数齐次差分方程可以表示为$A(\mathcal{B})X_t=0$，这里$A(z)$是一个关于$z$的多项式，被称为特征多项式，有以下的表现形式。
   $$A(z)=1-\sum _{j=1}^p{a}_j{z}^j.$$
   如果我们令$a_0=-1$，则$A(z)=-{\sum }_{j=0}^p{a}_j{z}^j$。

3. 对于常系数齐次差分方程$A(\mathcal{B})X_t=0$的求解问题，如果$A(z)$有$k$个不同的根$z_1,\cdots ,z_k$，每一个根$z_j$的重数是$r(j)$，则差分方程基础解为$t^l{z}_j^{-t},0\le l\le r(j)-1$，通解为
   $$\sum _{j=1}^k\sum _{l=0}^{r(j)-1}{U}_{l,j}{t}^l{z}_j^{-t}=\sum _{j=1}^k\sum _{l=0}^{r(j)-1}{V}_{l,j}{t}^l{\rho }_j^{-t}{e}^{-\mathrm{i}({\lambda }_{j}t-{\theta }_{l,j})},$$
   实数基础解为$V_{l,j}{t}^l{\rho }_j^{-t}\cos ({\lambda }_{j}t-{\theta }_{l,j})$，实数通解为
   $$\sum _{j=1}^k\sum _{l=0}^{r(j)-1}{V}_{l,j}{t}^l{\rho }_j^{-t}\cos ({\lambda }_{j}t-{\theta }_{l,j}).$$

4. 如果所有${\rho }_j>1$，那么通解是收敛的（以负指数阶收敛到0）；如果存在${\rho }_j=1$，就存在周期解；如果存在${\rho }_j<1$，就存在爆炸解。这里${\rho }_j$是$z_j$的模长。

5. 常系数非齐次差分方程的通解，是特解+齐次差分方程的通解。