【时间序列分析】12.MA(q)模型

十二、$\mathrm{M}\mathrm{A}(q)$模型

1.$\mathrm{M}\mathrm{A}(q)$模型的定义

$\mathrm{M}\mathrm{A}(q)$模型指的是滑动平均(Moving Average)模型，我们曾经在《二、线性平稳序列》中提到过MA，即有限运动平均，当时我们把白噪声的有限滑动平均定义为
$$X_t=a_0{\epsilon }_t+a_1{\epsilon }_{t-1}+\cdots +a_q{\epsilon }_{t-q},$$
现在，我们对这个定义稍加修改，就成为了$\mathrm{M}\mathrm{A}(q)$模型。

$\mathrm{M}\mathrm{A}(q)$模型：设 { ε t } ∼ W N ( 0 , σ 2 ) \{\varepsilon_t\}\sim {\rm WN}(0,\sigma^2) {εt​}∼WN(0,σ2)，如果实数$b_1,\cdots ,b_q(b_q\ne 0)$使得
$$B(z)=1+\sum _{j=1}^q{b}_j{z}^j\ne 0,|z|<1,$$
就称
$$X_t={\epsilon }_t+\sum _{j=1}^q{b}_j{\epsilon }_{t-j}=B(\mathcal{B}){\epsilon }_t,t\in \mathbb{Z}$$
是$q$阶滑动平均模型，即$\mathrm{M}\mathrm{A}(q)$模型，由它决定的平稳序列 { X t } \{X_t\} {Xt​}是滑动平均序列，即$\mathrm{M}\mathrm{A}(q)$序列。

这个修改后的定义与原定义有以下几点不同：一是修改后的定义要求$b_0=1$，二是特征多项式$B(z)$要求在$|z|<1$即单位圆内没有零点，这样就能保证$B^{-1}(z)$在$[0,1)$内始终是解析的。进一步要求$B(z)$在单位圆上也没有零点的话，$B^{-1}(z)$在$[0,1]$内就都解析，这时的$\mathrm{M}\mathrm{A}(q)$模型又叫可逆的$\mathrm{M}\mathrm{A}(q)$模型，相应的平稳序列被称为可逆的$\mathrm{M}\mathrm{A}(q)$序列。

对比$\mathrm{M}\mathrm{A}(q)$(Moving Average)序列与$\mathrm{A}\mathrm{R}(q)$(Autoregressive)序列，又有以下的区别，切勿搞混。

首先，在表现形式上，$\mathrm{M}\mathrm{A}(q)$模型是$X_t=B(\mathcal{B}){\epsilon }_t$，$\mathrm{A}\mathrm{R}(q)$模型是$A(\mathcal{B})X_t={\epsilon }_t$，这里原序列$X_t$和白噪声序列${\epsilon }_t$的位置发生了颠倒，这也导致了$\mathrm{M}\mathrm{A}(q)$序列是有限滑动平均序列，而$\mathrm{A}\mathrm{R}(q)$序列是无限滑动平均序列。自然，有限滑动平均比无限滑动平均讨论起来要更简单。

其次，二者的特征多项式也有所不同，$\mathrm{M}\mathrm{A}(q)$的特征多项式是$B(z)=1+\cdots$，而$\mathrm{A}\mathrm{R}(q)$的特征多项式是$A(z)=1-\cdots$，且$B(z)$只要求在单位圆内没有零点，$A(z)$还要求单位圆上也没有零点。不过，它们的首项都是1，我们分别定义为$a_0=1,b_0=1$。

二者有一定的相似性，但我们也可以将其联系起来，得到如下的模型：
$$A(\mathcal{B})X_t=B(\mathcal{B}){\epsilon }_t,$$
这被称为$\mathrm{A}\mathrm{R}\mathrm{M}\mathrm{A}$模型，在讨论它之前，我们先对$\mathrm{M}\mathrm{A}(q)$模型进行进一步讨论。

2.$\mathrm{M}\mathrm{A}(q)$序列的特征

$\mathrm{M}\mathrm{A}(q)$序列是一个平稳序列，所以重要的是它的自协方差函数与谱密度。为了方便讨论，我们接下来都定义$b_0=1$。我们在讨论线性平稳序列的时候已经得出了MA序列的自协方差函数和谱密度，对$\mathrm{M}\mathrm{A}(q)$序列也适用，即
$$\begin{gathered} {\gamma }_k=\mathrm{E}(X_t{X}_{t+k})=\{\begin{array}{lc}{\sigma }^2\sum _{j=0}^{q-k}{b}_j{b}_{j+k},& 0\le k\le q;\\ 0,& k>q.\end{array} \\ f(\lambda )=\frac{{\sigma }^2}{2\pi }|B(e^{\mathrm{i}\lambda }){|}^2=\frac{1}{2\pi }\sum _{j=-q}^q{\gamma }_j{e}^{-\mathrm{i}j\lambda }. \end{gathered}$$
注意$\mathrm{M}\mathrm{A}(q)$序列的自协方差函数满足${\gamma }_q={\sigma }^2{b}_q\ne 0$，但${\gamma }_k=0(k>q)$，我们称这样的平稳序列是$q$步相关的，即间距超过$q$的时间点都是不相关的。显然$\mathrm{M}\mathrm{A}(q)$是一个$q$步相关序列，这也是它的主要特征，但巧的是，这个结论反过来也成立，即如果零均值平稳序列的自协方差函数是$q$后截尾的，则这个平稳序列一定是$\mathrm{M}\mathrm{A}(q)$序列，证明如下。

引理：设实常数 { c j } \{c_j\} {cj​}使得$c_q\ne 0$和$g(\lambda )=\frac{1}{2\pi }\sum _{j=-q}^q{c}_j{e}^{-\mathrm{i}j\lambda }\ge 0,\lambda \in [-\pi ,\pi ]$，则存在唯一的实系数多项式$B(z)=1+\sum _{j=1}^q{b}_j{z}^j\ne 0$，使得$g(\lambda )=\frac{{\sigma }_0^2}{2\pi }|B(e^{\mathrm{i}\lambda }){|}^2$，这里${\sigma }_0$是某个正常数。

定理：设零均值平稳序列 { X t } \{X_t\} {Xt​}有自协方差函数 { γ k } \{\gamma_k\} {γk​}，则 { X t } \{X_t\} {Xt​}是$\mathrm{M}\mathrm{A}(q)$序列的充要条件是
$${\gamma }_q\ne 0,{\gamma }_k=0,|k|>q.$$
必要性显然，下证充分性，即由自协方差函数$q$后截尾推出 { X t } \{X_t\} {Xt​}是$\mathrm{M}\mathrm{A}(q)$序列。由反演公式，此时 { X t } \{X_t\} {Xt​}的谱密度是
$$f(\lambda )=\frac{1}{2\pi }\sum _{k=-q}^q{\gamma }_k{e}^{-\mathrm{i}k\lambda }\ge 0,\lambda \in [-\pi ,\pi ].$$
由引理得知，存在一组实数$b_1,\cdots ,b_q$满足$b_q>0$和正数${\sigma }^2>0$，使得
$$B(z)=1+\sum _{j=1}^q{b}_j{z}^j,f(\lambda )=\frac{{\sigma }^2}{2\pi }|B(e^{\mathrm{i}\lambda }){|}^2.$$
接下来我们要证明$f(\lambda )$是某个$\mathrm{M}\mathrm{A}(q)$序列的谱密度，也就是要构造出某个白噪声序列 { ε t } \{\varepsilon_t\} {εt​}使得$X_t=B(\mathcal{B}){\epsilon }_t$。为此，我们构造${\epsilon }_t=B^{-1}(\mathcal{B})X_t$，因为如此，必定有$B(\mathcal{B}){\epsilon }_t=X_t$，所以我们只要能证明它是白噪声即可。

假设$B^{-1}(z)$Taylor级数的系数是 { h j } \{h_j\} {hj​}，则由$B(z)$的解析性，$h_j$绝对可和，所以
$${\epsilon }_t=B^{-1}(\mathcal{B})X_t=\sum _{j=0}^{\infty }{h}_j{X}_{t-j},t\in \mathbb{Z},$$
此时 { ε t } \{\varepsilon_t\} {εt​}是一个线性滤波，由线性滤波的谱密度，有
$$f_{\epsilon }(\lambda )={\left|\sum _{j=0}^{\infty }{h}_j{e}^{-\mathrm{i}\lambda }\right|}^{2}f(\lambda )=|B(e^{-\mathrm{i}\lambda }){|}^{-2}\frac{{\sigma }^2}{2\pi }|B(e^{-\mathrm{i}\lambda }){|}^2=\frac{{\sigma }^2}{2\pi },$$
这就说明${\epsilon }_t$是一个$\mathrm{W}\mathrm{N}(0,{\sigma }^2)$。

这样，我们判断一个平稳序列是不是一个$\mathrm{M}\mathrm{A}(q)$序列，只要观察其自协方差函数是不是$q$后截尾的就行了。但问题是，即使我们判断出了它是一个$\mathrm{M}\mathrm{A}(q)$序列，要如何从观测样本得到它的特征多项式$B(z)$呢？

3.$\mathrm{M}\mathrm{A}(q)$系数的递推计算

在实际生活中，${\gamma }_0,\cdots ,{\gamma }_q$是可以被观测获得的样本近似估计的，而$b_1,\cdots ,b_q,{\sigma }^2$却不能够直接获得，要对现实中的$\mathrm{M}\mathrm{A}(q)$序列进行研究，肯定要得到其特征多项式与白噪声方差。注意到${\gamma }_0,\cdots ,{\gamma }_q$的数量与$b_1,\cdots ,b_q,{\sigma }^2$的数量相等，都是$q+1$个，因此由自协方差函数估计$\mathrm{M}\mathrm{A}(q)$系数和白噪声方差是可能的。

如果列出${\gamma }_k$的计算式，即${\gamma }_k={\sigma }^2\sum _{j=0}^{q-k}{b}_j{b}_{j+k}$，我们可以得到$q+1$个方程，即
$$\{\begin{array}{lc}{\sigma }^2=\frac{{\gamma }_0}{1+b_1^2+\cdots +b_q^2},& \\ b_k=\frac{{\gamma }_k}{{\sigma }^2}-(b_1{b}_{k+1}+b_2{b}_{k+2}+\cdots +b_{q-k}{b}_q),& 1\le k\le q-1,\\ b_q=\frac{{\gamma }_q}{{\sigma }^2}.& \end{array}$$
这个方程是一个非线性方程组，可以用牛顿迭代法求解，这里对教科书上的方式进行抄录。

定义
$${\Omega }_k=\left[\begin{array}{cccc}{\gamma }_1& {\gamma }_2& \cdots & {\gamma }_k\\ {\gamma }_2& {\gamma }_3& \cdots & {\gamma }_{k+1}\\ ⋮& ⋮& & ⋮\\ {\gamma }_q& {\gamma }_{q+1}& \cdots & {\gamma }_{k+q-1}\end{array}\right]=({\gamma }_{i+j-1}{)}_{q\times k},{\mathbf{\gamma }}_q=\left[\begin{array}{c}{\gamma }_1\\ {\gamma }_2\\ ⋮\\ {\gamma }_q\end{array}\right],\Pi =\underset{k\to \infty }{\lim }{\Omega }_k{\Gamma }_k^{-1}{\Omega }_k^{\prime }.$$
注意${\Omega }_k$不是自协方差矩阵，甚至不是方阵，而是一个$q\times k$矩阵，即不定列数的$q$行矩阵。再定义
$$A={\left[\begin{array}{cccccc}0& 1& 0& \cdots & 0& 0\\ 0& 0& 1& \cdots & 0& 0\\ ⋮& ⋮& ⋮& & ⋮& ⋮\\ 0& 0& 0& \cdots & 0& 1\\ 0& 0& 0& \cdots & 0& 0\end{array}\right]}_{q\times q},C={\left[\begin{array}{c}1\\ 0\\ ⋮\\ 0\end{array}\right]}_{q\times 1}.$$
则${\mathbf{b}}_q=(b_1,\cdots ,b_q{)}^{\prime }$有
$${\mathbf{b}}_q=\frac{1}{{\sigma }^2}({\mathbf{\gamma }}_q-A\Pi C),{\sigma }^2={\gamma }_0-C^{\prime }\Pi C.$$
有了这个方法，我们就可以对$\mathrm{M}\mathrm{A}(q)$序列的观测样本求特征多项式了。

回顾总结

1. $\mathrm{M}\mathrm{A}(q)$模型是这样一种模型：$X_t=B(\mathcal{B}){\epsilon }_t$，其中
   $$B(z)=1+\sum _{j=1}^q{b}_j{z}^j=\sum _{j=0}^q{b}_j{z}^j,B(z)\ne 0,|z|<1.$$
   如果进一步要求$B(z)\ne 0,|z|\le 1$，则这被称为可逆$\mathrm{M}\mathrm{A}(q)$模型，对应的序列为$\mathrm{M}\mathrm{A}(q)$序列和可逆的$\mathrm{M}\mathrm{A}(q)$序列。

2. $\mathrm{M}\mathrm{A}(q)$序列的自协方差函数是$q$后截尾的，即
   $$\begin{gathered} {\gamma }_k={\sigma }^2\sum _{j=0}^{q-k}{b}_j{b}_{j+k},1\le k\le q-1, \\ {\gamma }_k=0,k\ge q. \end{gathered}$$
   其谱密度为
   $$f(\lambda )=\frac{{\sigma }^2}{2\pi }|B(e^{\mathrm{i}\lambda }){|}^2=\frac{1}{2\pi }\sum _{j=-q}^q{\gamma }_j{e}^{-\mathrm{i}j\lambda }.$$

3. 如果一个零均值平稳序列是$q$后截尾的，则这是一个$\mathrm{M}\mathrm{A}(q)$序列，换言之，零均值$\mathrm{M}\mathrm{A}(q)$序列的充要条件是自协方差函数$q$后截尾。

4. $\mathrm{M}\mathrm{A}(q)$系数的反推：设$A_{q\times q}$是主对角线上方的元素为1，其他元素为0的$q\times q$方阵，$C_{q\times 1}$是第一个元素为1，其他元素为0的列向量，再定义${\Omega }_k=({\gamma }_{i+j-1}{)}_{q\times k}$和自协方差向量${\mathbf{\gamma }}_k$，就有
   $${\Pi }_{q\times q}=\underset{k\to \infty }{\lim }{\Omega }_k{\Gamma }_k^{-1}{\Omega }_k^{\prime },{\mathbf{b}}_q=\frac{1}{{\sigma }^2}({\mathbf{\gamma }}_k-A\Pi C),{\sigma }^2={\gamma }_0-C^{\prime }\Pi C.$$