【时间序列分析】14.平稳序列的参数估计与白噪声检验

十四、平稳序列的参数估计与白噪声检验

之前我们在理论上讨论过$\mathrm{A}\mathrm{R}(p),\mathrm{M}\mathrm{A}(q),\mathrm{A}\mathrm{R}\mathrm{M}\mathrm{A}(p,q)$模型的一些特征，都是从模型本身出发对其样本分布作出一些判断，然而在实际生活中，我们往往先碰到的是时间序列的观测样本，并且对其作出分析以后，才能判断其属于哪一种序列。之前我们讨论过以上三种模型的判定，还有模型参数的计算，都是在零均值的前提下，基于自协方差函数计算的，所以这里先讨论均值、自协方差函数的估计。

这部分的结论较多，推导较少。并且我们总假设 { ε t } \{\varepsilon_t\} {εt​}是零均值白噪声， { ψ k } \{\psi_k\} {ψk​}平方可和，因为我们讨论过的三种模型都具有这样的性质。

1.估计均值

设$x_1,x_2,\cdots ,x_N$是平稳序列 { X t } \{X_t\} {Xt​}的观测值，则我们一般用以下统计量来估计平稳序列的均值：
$$\hat{\mu }={\bar{x}}_N=\frac{1}{N}\sum _{k=1}^N{x}_k.$$
这种想法是很直观的，就像我们在数理统计中选择用样本均值作为总体均值的估计一样，并且这个估计量具有也具有许多良好的性质。

首先是无偏性，即$\mathrm{E}\hat{\mu }=\mu$，这是因为
$$\mathrm{E}\hat{\mu }=\frac{1}{N}\sum _{k=1}^N\mathrm{E}(x_k)=\mu .$$
然后是相合性，这指的是估计量随着样本容量的增加收敛于估计值的能力，也就是说具有相合性的统计量，有越大的样本容量，就有越大的估计精度。对于任何平稳序列，$\hat{\mu }$首先是均方收敛到$\mu$的，有
$$\begin{array}{rl}\mathrm{E}(\hat{\mu }-\mu {)}^2=& \mathrm{E}{\left[\frac{1}{N}\sum _{k=1}^N(X_k-\mu )\right]}^2\\ =& \frac{1}{N^2}\mathrm{E}{\left(\sum _{k=1}^N(X_k-\mu )\right)}^2\\ =& \frac{1}{N^2}\sum _{k=-N}^N(N-|k|){\gamma }_k\\ \le & \sum _{k=1}^N|{\gamma }_k|\to 0.\end{array}$$
这里第二行到第三行的变换类似《九、$\mathrm{A}\mathrm{R}(p)$序列的谱密度及其他性质》中“周期图”部分的展开，这就得到了$\hat{\mu }$均方收敛到$\mu$的性质，自然也是依概率收敛的。事实上，如果 { X t } \{X_t\} {Xt​}是严平稳遍历序列，则${\bar{X}}_N=\hat{\mu }$还是$\mu$的强相合估计。

知道$\hat{\mu }$具有相合性后，自然想知道其收敛速度，这决定了我们的样本数量能够带来均值估计的精度。在重对数律成立时，得到收敛速度的阶数一般是
$$O\left(\sqrt{\frac{2\ln \ln N}{N}}\right).$$
重对数律指的是如下的定理：

重对数律定理：设 { ε t } \{\varepsilon_t\} {εt​}是独立同分布的$\mathrm{W}\mathrm{N}(0,{\sigma }^2)$，线性平稳序列 { X t } \{X_t\} {Xt​}为
$$X_t=\mu +\sum _{k=-\infty }^{\infty }{\psi }_k{\epsilon }_{t-k}$$
并且谱密度$f(0)\ne 0$，则以下条件之一成立时：

1. 当$k\to \infty$时，${\psi }_{|k|}$以负指数阶收敛于0；
2. 谱密度$f(\lambda )$在$\lambda =0$处连续，且$\mathrm{E}|{\epsilon }_t{|}^r<\infty$对某个$r>2$成立；

重对数律成立为
$$\underset{N\to \infty }{\lim }\sup \sqrt{\frac{N}{2\ln \ln N}}({\bar{X}}_N-\mu )=\sqrt{2\pi f(0)},\mathrm{a}.\mathrm{s}.$$

由于 { X t } \{X_t\} {Xt​}满足重对数律条件时， { − X t } \{-X_t\} {−Xt​}也满足条件，所以同理有
$$\begin{gathered} \underset{N\to \infty }{\lim }\sup \sqrt{\frac{N}{2\ln \ln N}}[-({\bar{X}}_N-\mu )]=\sqrt{2\pi f(0)},\mathrm{a}.\mathrm{s}. \\ \underset{N\to \infty }{\lim }\inf \sqrt{\frac{N}{2\ln \ln N}}({\bar{X}}_N-\mu )=-\sqrt{2\pi f(0)},\mathrm{a}.\mathrm{s}. \end{gathered}$$
这就导致了
$$\underset{N\to \infty }{\lim }\sqrt{\frac{N}{2\ln \ln N}}(\bar{X}-\mu )$$
几乎必然不存在，所以说$O(\sqrt{\frac{2\ln \ln N}{N}})$的收敛速度在一般情况下是不能再被改进的。显然，我们讨论过的三种序列都服从重对数律的条件。

最后我们讨论$\hat{\mu }$的分布问题，它具有中心极限定理，定理内容如下：

$\hat{\mu }$的中心极限定理：设 { ε t } \{\varepsilon_t\} {εt​}是独立同分布的$\mathrm{W}\mathrm{N}(0,{\sigma }^2)$，线性平稳序列定义为
$$X_t=\mu +\sum _{k=-\infty }^{\infty }{\psi }_k{\epsilon }_{t-k},t\in \mathbb{Z}.$$
如果 { X t } \{X_t\} {Xt​}的谱密度$f(\lambda )=\frac{{\sigma }^2}{2\pi }|H(e^{\mathrm{i}\lambda }){|}^2$在$\lambda =0$处连续，且$f(0)\ne 0$，则
$$\sqrt{N}({\bar{X}}_N-\mu )\stackrel{\mathrm{d}}{\to }N(0,2\pi f(0)).$$
特别当 { ψ k } \{\psi_k\} {ψk​}绝对可和时$f(\lambda )$连续，所以此时$\sqrt{N}({\bar{X}}_N-\mu )$依分布收敛到$N(0,2\pi f(0))$，且由反演公式，有
$$2\pi f(0)={\gamma }_0+2\sum _{j=1}^{\infty }{\gamma }_j.$$

与分布的中心极限定理相同，这一般被用来构造参数$\mu$的区间估计。

2.估计自协方差函数

设$x_1,x_2,\cdots ,x_N$是平稳序列 { X t } \{X_t\} {Xt​}的观测值，则我们一般用以下统计量来估计平稳序列的自协方差函数：
$$\begin{gathered} {\hat{\gamma }}_k=\frac{1}{N}\sum _{j=1}^{N-k}(x_j-{\bar{x}}_N)(x_{j+k}-{\bar{x}}_N), \\ {\hat{\rho }}_k=\frac{{\hat{\gamma }}_k}{{\hat{\gamma }}_0}. \end{gathered}$$
注意到这里求和项的个数是$N-k$，而取平均时除以的是$N$。事实上如果只是要估计自协方差函数，除以的也可以是$N-k$，但除以$N$被普遍应用，一是因为它趋近于0的速度稍微快一些，另一个重要的原因是这样定义的样本自协方差阵${\hat{\Gamma }}_N$正定。

类似均值的估计，对自协方差函数的估计量也要讨论它的几个相关性质。

首先是无偏性，${\hat{\gamma }}_k$是${\gamma }_k$的渐进无偏估计而不是无偏的。假设$\mu =\mathrm{E}{X}_1$，则令$Y_t=X_t-\mu$，即对原序列进行零均值化，则${\bar{Y}}_N={\bar{X}}_N-\mu$，所以
$$\begin{array}{rl}\mathrm{E}{\hat{\gamma }}_k=& \frac{1}{N}\mathrm{E}\sum _{j=1}^{N-k}(X_j-{\bar{X}}_N)(X_{j+k}-{\bar{X}}_N)\\ =& \frac{1}{N}\mathrm{E}\sum _{j=1}^{N-k}(Y_j-{\bar{Y}}_N)(Y_{j+k}-{\bar{Y}}_N)\\ =& \frac{1}{N}\mathrm{E}\sum _{j=1}^{N-k}[Y_j{Y}_{j+k}-{\bar{Y}}_N(Y_j+Y_{j+k})+{\bar{Y}}_N^2],\end{array}$$
并且由于均值是均方收敛的，所以$\mathrm{E}{\bar{Y}}_N^2\to 0$；由Schwarz不等式有
$$\mathrm{E}|{\bar{Y}}_N(Y_{j+k}+Y_j)|\le \sqrt{\mathrm{E}{\bar{Y}}_N^2\mathrm{E}(Y_{j+k}+Y_j{)}^2}\le \sqrt{4\mathrm{E}{\bar{Y}}_N^2{\gamma }_0}\to 0.$$
于是
$$\mathrm{E}{\hat{\gamma }}_k=\frac{1}{N}\sum _{j=1}^{N-k}[{\gamma }_k+o(1)]=\frac{N-k}{N}({\gamma }_k+o(1))\to {\gamma }_k.$$
得到其渐进无偏性，显然${\hat{\gamma }}_k$不具有无偏性。

然后是相合性，对于严平稳遍历序列 { X t } \{X_t\} {Xt​}，其每个确定的$k$，${\hat{\gamma }}_k$和${\hat{\rho }}_k$都分别是${\gamma }_k$和${\rho }_k$的强相合估计。

最后，为了给出${\gamma }_k$的区间估计，依然考虑${\hat{\gamma }}_k$的渐进分布，它比$\hat{\mu }$的渐进分布更加复杂，这里只讨论线性平稳序列的${\hat{\gamma }}_k$。令 { ε t } \{\varepsilon_t\} {εt​}为独立同分布$\mathrm{W}\mathrm{N}(0,{\sigma }^2)$，实数列 { ψ k } \{\psi_k\} {ψk​}平方可和，线性平稳序列定义为
$$X_t=\sum _{j=-\infty }^{\infty }{\psi }_j{\epsilon }_{t-j},t\in \mathbb{Z}.$$
则其自协方差函数与谱密度分别是
$${\gamma }_k={\sigma }^2\sum _{j=-\infty }^{\infty }{\psi }_j{\psi }_{j+k},f(\lambda )=\frac{{\sigma }^2}{2\pi }{\left|\sum _{j=-\infty }^{\infty }{\psi }_j{e}^{\mathrm{i}j\lambda }\right|}^2.$$

接下来直接给出相关的结论。

${\hat{\gamma }}_k$的中心极限定理：如果${\mu }_4=\mathrm{E}{\epsilon }_1^4<\infty$，且$X_t$的谱密度平方可积：${\int }_{-\pi }^{\pi }{f}^2(\lambda )\mathrm{d}\lambda <\infty$，则设 { W t } \{W_t\} {Wt​}独立同分布于$N(0,1)$，对任何正整数$h$，当$N\to \infty$时，有
$$\begin{gathered} \sqrt{N}({\hat{\gamma }}_0-{\gamma }_0,\cdots ,{\hat{\gamma }}_h-{\gamma }_h)\stackrel{\mathrm{d}}{\to }({\xi }_0,{\xi }_1,\cdots ,{\xi }_h), \\ {\xi }_j=(M_0{\gamma }_j)W_0+\sum _{t=1}^{\infty }({\gamma }_{t+j}+{\gamma }_{t-j})W_t,j\ge 0, \\ {M}_0=\frac{1}{{\sigma }^2}({\mu }_4-{\sigma }^4{)}^{1/2}=\frac{1}{{\sigma }^2}(\mathrm{E}{\epsilon }_1^4-{\sigma }^4{)}^{1/2} \end{gathered}$$
${\hat{\rho }}_k$的中心极限定理：条件同上，对任何正整数$h$，当$N\to \infty$时，有
$$\begin{gathered} \sqrt{N}({\hat{\rho }}_1-{\rho }_1,\cdots ,{\hat{\rho }}_h-{\rho }_h)\stackrel{\mathrm{d}}{\to }(R_1,\cdots ,R_h), \\ {R}_j=\sum _{t=1}^{\infty }({\rho }_{t+j}+{\rho }_{t-j}-2{\rho }_t{\rho }_j)W_t,j\ge 1. \end{gathered}$$
谱密度平方可积的等价条件：对于任意平稳序列 { X t } \{X_t\} {Xt​}，它的自协方差函数平方可和，等价于谱密度平方可积。因此只要$\mathrm{E}{\epsilon }_1^4<\infty$的线性平稳序列的自协方差函数平方可和，则中心极限定理成立。

应用于白噪声的推论：如果 { X t } \{X_t\} {Xt​}是独立同分布的白噪声，则对任何正整数$h$，
$$\sqrt{N}({\hat{\rho }}_1,\cdots ,{\hat{\rho }}_h)\stackrel{\mathrm{d}}{\to }{N}_h(0,I_h).$$
如果追加${\mu }_4=\mathrm{E}{X}_t^4<\infty$的条件，则
$$\sqrt{N}({\hat{\gamma }}_0,{\hat{\gamma }}_1,\cdots ,{\hat{\gamma }}_h)\stackrel{\mathrm{d}}{\to }{\sigma }^2(M_0{W}_0,W_1,\cdots ,W_h).$$

3.白噪声检验

我们在前面讨论到的模型都是白噪声的无穷滑动和，且对于建立的模型，我们总假定误差是服从白噪声的，因此，我们需要一种对于白噪声的检验。

白噪声的${\chi }^2$检验是基于以下前提的：$m$个独立同分布标准正态随机变量的和服从${\chi }^2(m)$分布。由$\hat{\rho }$的中心极限定理应用于白噪声的推论，$\sqrt{N}({\hat{\rho }}_1,\cdots ,{\hat{\rho }}_m)\stackrel{\mathrm{d}}{\to }{N}_m(0,I_m)$，可以构造如下的统计量，它应该近似服从${\chi }^2(m)$分布：
$${\hat{\chi }}_m^2\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}N({\hat{\rho }}_1^2+{\hat{\rho }}_2^2+\cdots +{\hat{\rho }}_m^2)\stackrel{\mathrm{d}}{\to }{\chi }^2(m).$$
这里选择的$m$不能过大，一般取$m\le \sqrt{N}$，接下来就可以按照${\chi }^2$分布的假设检验来判断序列是否是白噪声。

此外，还有一种简单的判别方法，是计算
Q ( m ) = 1 m # { j ∣ N ∣ ρ ^ j ∣ ≥ 1.96 , 1 ≤ j ≤ m } , Q(m)=\frac 1m \#\{j|\sqrt N|\hat \rho_j|\ge 1.96,\quad 1\le j\le m \}, Q(m)=m1​#{j∣N ​∣ρ^​j​∣≥1.96,1≤j≤m},
这里$\#A$代表$A$中元素的数量，当$Q(m)\ge 0.05$时就拒绝序列是白噪声这一假设。

回顾总结

1. 对于平稳序列 { X t } \{X_t\} {Xt​}，用$\hat{\mu }={\bar{x}}_N=\frac{1}{N}{\sum }_{j=1}^N{x}_j$作为平稳序列均值$\mu$的估计量，它具有无偏性，均方相合性。

2. $\hat{\mu }$的收敛速度是$O(\sqrt{\frac{2\ln \ln N}{N}})$，在重对数律的限制下，这个速度一般不能再被改进。重对数律的先决条件是$f(0)\ne 0$，且${\psi }_{|k|}$以负指数阶收敛到0或$f(\lambda )$在$\lambda =0$处连续且$\mathrm{E}|{\epsilon }_t{|}^r<\infty$对某个$r>2$成立。

3. $\hat{\mu }$的中心极限定理：$\sqrt{N}(\hat{\mu }-\mu )\stackrel{\mathrm{d}}{\to }N(0,2\pi f(0))$，前提条件是$f(\lambda )$在$\lambda =0$连续且$f(0)\ne 0$，此时
   $$2\pi f(0)={\gamma }_0+2\sum _{j=1}^{\infty }{\gamma }_j.$$

4. 对于平稳序列 { X t } \{X_t\} {Xt​}，用${\hat{\gamma }}_k=\frac{1}{N}{\sum }_{j=1}^{\infty }(x_j-{\bar{x}}_N)(x_{j+k}-{\bar{x}}_N)$作为${\gamma }_k$的估计量，它具有渐进无偏性；用${\hat{\rho }}_k={\hat{\gamma }}_k/{\hat{\gamma }}_0$作为${\rho }_k$的估计量。${\hat{\gamma }}_k$和${\hat{\rho }}_k$也有相应的中心极限定理。

5. 对于严平稳遍历序列 { X t } \{X_t\} {Xt​}，$\hat{\mu }$与${\hat{\gamma }}_k$都是$\mu ,{\gamma }_k$的强相合估计。

6. 白噪声检验可以构造${\hat{\chi }}_m^2=N({\hat{\rho }}_1^2+\cdots +{\hat{\rho }}_m^2)\stackrel{\mathrm{d}}{\to }{\chi }^2(m)$，也可以使用以下估计量：
   Q ( m ) = 1 m # { j ∣ N ∣ ρ j ∣ ≥ 1.96 , 1 ≤ j ≤ m } , Q(m)=\frac 1m\#\{j|\sqrt N|\rho_j|\ge1.96,\quad 1\le j\le m \}, Q(m)=m1​#{j∣N ​∣ρj​∣≥1.96,1≤j≤m},

   当$Q(m)>0.05$时拒绝白噪声假设。这里都要求$m\le \sqrt{N}$。