【时间序列分析】09.AR(p)序列的谱密度及其他性质

九、$\mathrm{A}\mathrm{R}(p)$序列的谱密度及其他性质

1.$\mathrm{A}\mathrm{R}(p)$序列的谱密度与反演公式

平稳序列有唯一的谱函数，$\mathrm{A}\mathrm{R}(p)$序列也不例外。由于$\mathrm{A}\mathrm{R}(p)$序列属于无穷滑动和，所以线性平稳序列的谱密度公式依然适用，并且可以和特征多项式建立联系，即
$$f(\lambda )=\frac{{\sigma }^2}{2\pi }{\left|\sum _{j=-\infty }^{\infty }{\psi }_j{e}^{\mathrm{i}j\lambda }\right|}^2=\frac{{\sigma }^2}{2\pi }{\left|\sum _{j=0}^{\infty }{\psi }_j{e}^{\mathrm{i}j\lambda }\right|}^2=\frac{{\sigma }^2}{2\pi }[A^{-1}(e^{\mathrm{i}\lambda }){]}^2=\frac{{\sigma }^2}{2\pi |A(e^{\mathrm{i}\lambda }){|}^2}.$$
从谱密度的表达式中，我们可以看到，$f(\lambda )$在$\lambda ={\lambda }_j$的地方会表现出峰值，并且当${\rho }_j\to 1$时$f({\lambda }_j)\to \infty$，谱密度的存在性就会难以保持，也就是$\mathrm{A}\mathrm{R}(p)$序列的平稳性遭到破坏。

之前我们在定义谱密度时，是根据自协方差函数来的，只有谱密度作为输入、自协方差函数作为输出的计算式。现在，对于自协方差函数列绝对可和的情况，我们将提出谱密度的自协方差函数反演公式，这是自协方差函数作为输入、谱密度作为输出的计算式。

自协方差函数反演公式：如果平稳序列 { X t } \{X_t\} {Xt​}的自协方差函数 { γ k } \{\gamma_k\} {γk​}绝对可和，则 { X t } \{X_t\} {Xt​}的谱密度是
$$f(\lambda )=\frac{1}{2\pi }\sum _{k=-\infty }^{\infty }{\gamma }_k{e}^{-\mathrm{i}k\lambda }=\frac{1}{2\pi }\sum _{k=-\infty }^{\infty }{\gamma }_k\cos (k\lambda )=\frac{1}{2\pi }\left[{\gamma }_0+2\sum _{k=1}^{\infty }{\gamma }_k\cos (k\lambda )\right].$$
这里第二个等号由谱密度是实函数保证，绝对可和保证谱密度在$[-\pi ,\pi ]$上是处处收敛的。

要证明这个公式，只需要保证$f(\lambda )$在$[-\pi ,\pi ]$上是非负的，并且满足${\gamma }_k={\int }_{-\pi }^{\pi }f(\lambda )e^{\mathrm{i}k\lambda }\mathrm{d}\lambda$。这里，后面的等式比较容易验证，即
$$\begin{array}{rl}& {\int }_{-\pi }^{\pi }\left(\frac{1}{2\pi }\sum _{j=-\infty }^{\infty }{\gamma }_j{e}^{-\mathrm{i}j\lambda }\right)e^{\mathrm{i}k\lambda }\mathrm{d}\lambda \\ =& \frac{1}{2\pi }\sum _{j=-\infty }^{\infty }{\gamma }_j{\int }_{-\pi }^{\pi }{e}^{-\mathrm{i}(k-j)\lambda }\mathrm{d}\lambda \\ =& \frac{1}{2\pi }\sum _{j=-\infty }^{\infty }{\gamma }_j\cdot 2\pi {\delta }_{k-j}\\ =& {\gamma }_k.\end{array}$$
接下来就要验证$f(\lambda )$是非负的，引入“周期图”为$I_N(\lambda )=\frac{1}{2\pi N}|\sum _{j=1}^N{X}_j{e}^{\mathrm{i}j\lambda }{|}^2$，这里$X_i$是 { X t } \{X_t\} {Xt​}的观测值，对其求期望，有
$$\begin{array}{rl}& f(\lambda )=\mathrm{E}{I}_N(\lambda )\\ =& \frac{1}{2\pi N}\mathrm{E}\left(\sum _{j=1}^N{X}_j{e}^{\mathrm{i}j\lambda }\right)\left(\overline{\sum _{k=1}^N{X}_k{e}^{\mathrm{i}k\lambda }}\right)\\ =& \frac{1}{2\pi N}\sum _{j=1}^N\sum _{k=1}^N{\gamma }_{j-k}{e}^{-\mathrm{i}(j-k)\lambda }\mathrm{d}\lambda \\ =& \frac{1}{2\pi N}\sum _{m=-(N-1)}^{N-1}(N-|m|){\gamma }_m{e}^{-\mathrm{i}m\lambda }\mathrm{d}\lambda \\ =& \frac{1}{2\pi }\sum _{m=-N}^{N-1}{\gamma }_m{e}^{-\mathrm{i}m\lambda }\mathrm{d}\lambda -\frac{1}{2\pi N}\sum _{m=1-N}^{N-1}|m|{\gamma }_m{e}^{-\mathrm{i}m\lambda }\mathrm{d}\lambda .\end{array}$$

对此式做一下解读。第一行到第二行是直接的；第二行到第三行因为是有限项，所以期望与求和可交换；第三行到第四行运用双重求和的简化，具体见下面的说明；第四行到第五行就是简单的拆开。

对于二重的求和，$j,k$都从$1\sim N$，假设每一个需要求和的项是$S_{j,k}$，则整个排列是
$$\left[\begin{array}{ccccc}{S}_{1,1}& S_{1,2}& S_{1,3}& \cdots & S_{1,N}\\ S_{2,1}& S_{2,2}& S_{2,3}& \cdots & S_{2,N}\\ S_{3,1}& S_{3,2}& S_{3,3}& \cdots & S_{3,N}\\ ⋮& ⋮& ⋮& & ⋮\\ S_{N,1}& S_{N,2}& S_{N,3}& \cdots & S_{N,N}\end{array}\right].$$
现在按照下标的差值$j-k$排列，则每个与对角线平行的直线上，$j-k$应该相同，且$j-k=m$的$S_{j,k}$应该有$N-|m|$个。因此得到第三行到第四行的求和公式。

到达这一步后，$f(\lambda )$被分成两部分，后一部分是
$$\frac{1}{2\pi N}\sum _{j=1-N}^{N-1}|j|{\gamma }_j{e}^{-\mathrm{i}j\lambda },$$
由Kronecker引理，这一项随着$N$增大是趋向于0的，而前一部分
$$\frac{1}{2\pi }\sum _{j=1-N}^{N-1}{\gamma }_j{e}^{-\mathrm{i}j\lambda }$$
随着$N$增大，最终就得到我们预设的谱密度形式
$$\frac{1}{2\pi }\sum _{j=-\infty }^{\infty }{\gamma }_j{e}^{-\mathrm{i}j\lambda }.$$
也就是说，假设$f(\lambda )$如同我们预设的形式，那么就有
$$f(\lambda )=\underset{N\to \infty }{\lim }{f}_N(\lambda )=\underset{N\to \infty }{\lim }\mathrm{E}{I}_N(\lambda )\ge 0.$$
得到我们要证明的结论——$f(\lambda )$非负，这样才能说明$f(\lambda )$就是 { γ k } \{\gamma_k\} {γk​}的谱密度。

Kronecker引理：设实数列或复数列${\sum }_{j=1}^n{x}_j$收敛，非负实数列$b_n$单调递增且趋向于$+\infty$，那么
$$\underset{n\to \infty }{\lim }\frac{{\sum }_{j=1}^n{b}_j{x}_j}{b_n}=0.$$
对实数列情形给出证明，设$A_n={\sum }_{j=1}^n{x}_j\to A$，则$x_n=A_n-A_{n-1}$，
$$\begin{array}{rl}& \sum _{j=1}^n{b}_j{x}_j=\sum _{j=1}^n{b}_j(A_j-A_{j-1})\\ =& b_1{A}_1+b_2{A}_2-b_2{A}_1+b_3{A}_3-b_3{A}_2\cdots +b_n{A}_n-b_n{A}_{n-1}\\ =& \sum _{j=1}^{n-1}{A}_j(b_j-b_{j+1})+b_n{A}_n\end{array}$$
那么
$$\begin{array}{rl}& \underset{n\to \infty }{\lim }\frac{{\sum }_{j=1}^n{b}_j{x}_j}{b_n}\\ =& \underset{n\to \infty }{\lim }\frac{{\sum }_{j=1}^n{A}_j(b_j-b_{j+1})}{b_n}+A\\ \stackrel{\mathrm{S}\mathrm{t}\mathrm{o}\mathrm{l}\mathrm{z}}{=}& A-\underset{n\to \infty }{\lim }\frac{A_{n-1}(b_n-b_{n-1})}{b_n-b_{n-1}}\\ =& 0.\end{array}$$
对于题目中要验证的数列，显然$b_N=N$单调递增且趋向于无穷大，将求和的部分分为正数、零、负数三部分，考虑正数部分，原式为${\sum }_{j=1}^{N-1}|j|x_j,x_j={\gamma }_j{e}^{-\mathrm{i}j\lambda }$，由于${\gamma }_j$以负指数阶收敛于0，所以其绝对可和，也就是$\sum x_j$存在，所以由Kronecker引理，得到正数部分的求和极限为0，同理对负数也是0，在$j=0$一个点处的极限仍然是0。所以，后一部分随着$N$增大收敛于0。

结合反演公式和无穷滑动和的谱密度，得到以下等式：
$$f(\lambda )=\frac{1}{2\pi }\sum _{j=-\infty }^{\infty }{\gamma }_j{e}^{-\mathrm{i}j\lambda }=\frac{{\sigma }^2}{2\pi |A(e^{\mathrm{i}\lambda }){|}^2}.$$

2.自协方差函数的周期性

之前我们说过，如果$A(z)$有靠近单位圆的根，则通解收敛于平稳解的速度会比较缓慢，在收敛之前，我们还能看到样本的轨迹。这就是我们要讨论的自协方差函数的周期性，通过周期性的讨论，我们可以看到在收敛趋势还不明显的时候，相隔一定时间的样本点之间呈现一定的相关度。

由Yule-Walker方程，$A(\mathcal{B}){\gamma }_k={\sigma }^2{\psi }_{-k}$，可以反解得到${\gamma }_k={\sigma }^2{A}^{-1}(\mathcal{B}){\psi }_{-k}$。要想通过这个式子验证${\gamma }_k$的周期性，需要对$A^{-1}(\mathcal{B})$进行分解。假设$A(z)$的所有根互异，则有以下的因式分解：
$$\begin{gathered} A(z)=(1-z/z_1)\cdots (1-z/z_p), \\ {A}^{-1}(z)=\frac{1}{(1-z/z_1)(1-z/z_2)\cdots (1-z/z_p)}=\frac{c_1}{1-z/z_1}+\cdots +\frac{c_p}{1-z/z_p}. \end{gathered}$$
这里
$$c_i=\frac{{\prod }_{k\ne i}{z}_i}{{\prod }_{k\ne i}(z_k-z_i)}.$$
也就是说可以将$A^{-1}(z)$进行有理分式分解，分解细节可以忽略。代回就有
$$\begin{array}{rl}{\gamma }_k=& {\sigma }^2{A}^{-1}(\mathcal{B}){\psi }_{-k}\\ =& {\sigma }^2\sum _{j=1}^p{c}_j(1-z_j^{-1}\mathcal{B}{)}^{-1}{\psi }_{-k}\\ =& {\sigma }^2\sum _{j=1}^p{c}_j\sum _{l=0}^{\infty }(z_j^{-1}\mathcal{B}{)}^l{\psi }_{-k}\\ =& {\sigma }^2\sum _{j=1}^p{c}_j\sum _{l=0}^{\infty }{z}_j^{-l}{\psi }_{-k+l}\\ =& {\sigma }^2\sum _{j=1}^p{c}_j\sum _{l=k}^{\infty }{z}_j^{-l}{\psi }_{l-k}\\ =& {\sigma }^2\sum _{j=1}^p{c}_j\sum _{l=k}^{\infty }{\psi }_{l-k}{z}_j^{-(l-k)-k}\\ =& {\sigma }^2\sum _{j=1}^p{c}_j\sum _{l=0}^{\infty }{\psi }_l{z}_j^{-l}{z}_j^{-k}\\ =& {\sigma }^2\sum _{j=1}^p{c}_j{A}^{-1}(z_j^{-1}){\rho }_j^{-k}{e}^{-\mathrm{i}k{\lambda }_j}\\ \stackrel{\Delta }{=}& {\sigma }^2\sum _{j=1}^p{A}_j{\rho }_j^{-k}\cos (k{\lambda }_j+{\theta }_j),k\ge 0.\end{array}$$
这里的证明稍显繁琐，第二行到第三行运用了级数展开即$1/(1-x)=\sum _{j=0}^{\infty }{x}^j$，最后一行定义$A_j\cos ({\lambda }_{j}k+{\theta }_j)$为$c_j{A}^{-1}(z_j^{-1})e^{-\mathrm{i}{\lambda }_{j}k}$的实部。可以看出，如果${\rho }_j$接近1，${\gamma }_k$收敛的比较慢，则它的频率特性就会开始增强，而且最小的${\rho }_j$对应的角频率${\lambda }_j$会显现得越明显（因为收敛的慢，显示的出来）。

结合谱密度的表达式
$$f(\lambda )=\frac{{\sigma }^2}{2\pi |A(e^{\mathrm{i}\lambda }){|}^2}$$
可以看到，在${\rho }_j$越小的地方$f(\lambda )$越大，如果它趋近于1， 则 { X t } \{X_t\} {Xt​}的平稳性会遭到破坏。

3.$\mathrm{A}\mathrm{R}(p)$序列没有完全可预测性

最后，我们简要地介绍一下时间序列的完全可预测性，先从随机变量的完全线性预测开始。

随机变量线性相关：对于方差有限的随机变量$Y_1,\cdots ,Y_n$，如果存在一组常数$b_0,\cdots ,b_n$，使得
$$\mathrm{E}{\left(\sum _{j=1}^n{b}_j{Y}_j-b_0\right)}^2=0,$$
就称随机变量$Y_1,\cdots ,Y_n$是线性相关的，否则称为线性无关的。

完全线性预测：如果$Y_1,\cdots ,Y_n$线性相关且$b_n\ne 0$，那么$Y_n$可以被$Y_1,\cdots ,Y_{n-1}$线性表示，此时就称$Y_n$可以被$Y_1,\cdots ,Y_{n-1}$完全线性预测。

对于平稳序列 { X t } \{X_t\} {Xt​}，如果其$n$阶自协方差矩阵为${\Gamma }_n$，$n$维向量$\mathbf{b}=(b_1,\cdots ,b_n{)}^{\prime }$，那么
$$\mathrm{E}{\left(\sum _{j=1}^n{b}_j{X}_{t-j}-b_0\right)}^2\ge \mathrm{E}{\left[\sum _{j=1}^n{b}_j(X_{t-j}-\mathrm{E}{X}_t)\right]}^2={\mathbf{b}}^{\prime }{\Gamma }_n\mathbf{b}\ge 0.$$
第一个不等号成立，是因为随机变量的均值是其最佳线性预测。这个不等式告诉我们，对于平稳序列 { X t } \{X_t\} {Xt​}，只有当其自协方差矩阵退化时，才能让$X_{t-1},\cdots ,X_{t-n}$线性相关，才有完全可预测的可能。对于${\Gamma }_n$正定的情形，一定有$X_{t-1},\cdots ,X_{t-n}$线性无关，也就是$X_n$不可能被$X_1,\cdots ,X_{n-1}$完全线性预测。

特别对于$\mathrm{A}\mathrm{R}(p)$序列，我们已经证明了其自协方差函数函数是正定的，所以$X_n$不能由$X_1,\cdots ,X_{n-1}$完全线性预测。

回顾总结

1. $\mathrm{A}\mathrm{R}(p)$序列也是线性平稳序列，故存在唯一的谱密度为
   $$f(\lambda )=\frac{{\sigma }^2}{2\pi }{\left|\sum _{j=0}^{\infty }{\psi }_j{e}^{\mathrm{i}j\lambda }\right|}^2=\frac{{\sigma }^2}{2\pi |A(e^{\mathrm{i}\lambda }){|}^2}.$$

2. 对于自协方差函数 { γ k } \{\gamma_k\} {γk​}绝对可和的情况，平稳序列存在谱密度自协方差函数反演公式为：
   $$f(\lambda )=\frac{1}{2\pi }\sum _{j=-\infty }^{\infty }{\gamma }_k{e}^{-\mathrm{i}k\lambda }=\frac{1}{2\pi }\left[{\gamma }_0+2\sum _{j=1}^{\infty }{\gamma }_j\cos (\lambda j)\right].$$

3. 当${\rho }_j$比较接近1时，$\mathrm{A}\mathrm{R}(p)$序列的自协方差函数呈现出周期性。所有$z_j$中${\rho }_j$最小的那个对应的角频率${\lambda }_j$最为重要。

4. 时间序列的完全可预测性，指的是从其历史观测可以完全预测未来的值，蕴含着平稳序列的线性相关性。$\mathrm{A}\mathrm{R}(p)$序列没有完全可预测性。