【时间序列分析】08.AR(p)序列的相关性质

八、$\mathrm{A}\mathrm{R}(p)$序列与其自协方差函数

1.$\mathrm{A}\mathrm{R}(p)$序列

之前我们给出过$\mathrm{A}\mathrm{R}(p)$序列的定义：满足$\mathrm{A}\mathrm{R}(p)$模型的平稳时间序列。由于$\mathrm{A}\mathrm{R}(p)$序列的平稳解是唯一的，而且是平稳序列，我们就可以对它的性质进行进一步的讨论。

$\mathrm{A}\mathrm{R}(p)$序列表现形式为$X_t=\sum _{j=0}^{\infty }{\psi }_j{\epsilon }_{t-j}$，是一个单边白噪声无穷滑动和，所以是零均值的，自协方差函数为
$$\begin{gathered} {\gamma }_k={\sigma }^2\sum _{j=0}^{\infty }{\psi }_j{\psi }_{j+k},k\ge 0. \\ \mathrm{D}{X}_t={\gamma }_0={\sigma }^2\sum _{j=0}^{\infty }{\psi }_j^2. \end{gathered}$$
在第二篇笔记中，我们提到无穷滑动和的自协方差函数是收敛于0的，特别对$\mathrm{A}\mathrm{R}(p)$序列，它的自协方差函数是负指数阶收敛于0的，即
$$|{\gamma }_k|\le {\sigma }^2{\left(\sum _{j=0}^{\infty }{\psi }_j^2\right)}^{1/2}{\left(\sum _{j=0}^{\infty }{\psi }_{j+k}^2\right)}^{1/2}\le c_0{\left(\sum _{j=k}^{\infty }{\rho }^{-2j}\right)}^{1/2}\le c_1{\rho }^{-k}.$$
所以，与${\psi }_j$一样，$|{\gamma }_k|$也会很快收敛到0，并且$\underset{j}{\min }{\rho }_j$越大，收敛速度越快，也就是$X_t,X_{t+k}$的相关度越低，这被称为时间序列的短记忆性。

2.Yule-Walker方程

在介绍了$\mathrm{A}\mathrm{R}(p)$序列的自协方差函数与相关性质后，我们要将自协方差函数序列与自相关系数联系在一起，就是这里要说的Yule-Walker方程。Yule-Walker方程的表现形式很简单：
$$A(\mathcal{B}){\gamma }_k={\sigma }^2{\psi }_{-k}.$$
接下来，对这个方程予以证明，并提出几个不同的形式。

首先，我们知道$X_t=a_1{X}_{t-1}+\cdots +a_p{X}_{t-p}+{\epsilon }_t$，如果将它列成向量或矩阵的形式，则有
$$\left[\begin{array}{c}{X}_t\\ X_{t+1}\\ ⋮\\ X_{t+p-1}\end{array}\right]=\left[\begin{array}{cccc}{X}_{t-1}& X_{t-2}& \cdots & X_{t-p}\\ X_t& X_{t-1}& \cdots & X_{t+1-p}\\ ⋮& ⋮& & ⋮\\ X_{t+p-2}& X_{t+p-3}& \cdots & X_{t-1}\end{array}\right]\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_p\end{array}\right]+\left[\begin{array}{c}{\epsilon }_t\\ {\epsilon }_{t+1}\\ ⋮\\ {\epsilon }_{t+p-1}\end{array}\right].$$
这是一个$p$维向量等式，但我们现在要将其向任意更高的维度发展，这对我们以后的研究有好处。所以，我们令${\mathbf{a}}_n=(a_1,\cdots ,a_p,0,\cdots ,0{)}_n^{\prime }$，就可以自然地将以上的式子扩展成高维的。如果在等式两边同时乘以$X_{t-1}$并取期望，就得到一个重要的方程：
$${\mathbf{\gamma }}_n={\Gamma }_n{\mathbf{a}}_n,n\ge p.$$
这里${\Gamma }_n$是自协方差矩阵，${\mathbf{\gamma }}_n=({\gamma }_1,\cdots ,{\gamma }_n)$。从这个式子出发，我们可以得到任何$k>0$时的自协方差函数递推关系（因为${\mathbf{\gamma }}_n$的下标从1开始）：
$${\gamma }_k=a_1{\gamma }_{k-1}+\cdots +a_p{\gamma }_{k-p},k>0.$$
也就是对于$k>1$，有$A(\mathcal{B}){\gamma }_k=0$，这个式子与Wold系数的$A(\mathcal{B}){\psi }_j=0$很相似，不同的是，在定义了${\psi }_j,j\le 0$的情况下，Wold系数没有下标的限制，而自协方差只能对正值下标使用。那么，对于${\gamma }_0$，它也满足一定的等式如下：
$$\begin{array}{rl}{\gamma }_0=& \mathrm{E}{X}_t^2=\mathrm{E}{\left(\sum _{j=1}^p{a}_j{X}_{t-j}+{\epsilon }_t\right)}^2\\ =& \mathrm{E}{\left(\sum _{j=1}^p{a}_j{X}_{t-j}\right)}^2+\mathrm{E}{\epsilon }_t^2\\ =& \mathrm{E}{\left(\sum _{j=1}^n{a}_j{X}_{t-j}\right)}^2+\mathrm{E}{\epsilon }_t^2\\ =& \sum _{j=1}^n\sum _{k=1}^n{a}_j{a}_k\mathrm{E}{X}_j{X}_k+{\sigma }^2\\ =& {\mathbf{a}}_n^{\prime }{\Gamma }_n{\mathbf{a}}_n+{\sigma }^2\\ =& {\mathbf{\gamma }}_n^{\prime }{\mathbf{a}}_n+{\sigma }^2.\end{array}$$
这里，第一行到第二行是平方展开，并且$\mathrm{E}{X}_{t-j}{\epsilon }_t=0$，因为$\mathrm{A}\mathrm{R}(p)$序列与未来的白噪声无关；第二行到第三行将求和上标从$p$扩展到$n$，方便后续向${\Gamma }_n,{\mathbf{a}}_n$转化；第五行到第六行中，代入了我们得到的等式${\mathbf{\gamma }}_n={\Gamma }_n{\mathbf{a}}_n$。

这样，我们就得到了自协方差函数与自回归系数、自协方差矩阵的关系：
$${\mathbf{\gamma }}_n={\Gamma }_n{\mathbf{a}}_n,{\gamma }_0={\mathbf{\gamma }}_n^{\prime }{\mathbf{a}}_n+{\sigma }^2.$$
这就是Yule-Walker方程对$k\ge 0$的表现形式，事实上，这是拥有更广泛应用的形式，因为在实际使用时，我们会比较容易获得样本的自协方差函数，而自回归系数、白噪声方差往往需要根据样本估计，上面的两个式子提供了根据自协方差函数计算自回归系数的方式。至于为什么要将这个式子不限定于$p$维，而要向任意高维$n$推广，在以后会有更深刻的体会。

而结合Wold系数，Yule-Walker方程可以写成更为通用的形式：
$$A(\mathcal{B}){\gamma }_k={\sigma }^2{\psi }_{-k},k\in \mathbb{Z}.$$
这个式子直接去除了${\gamma }_k$的下标限制，对$k>0$的情况，已经在前面得到证明，而$k=0$时也有
$${\gamma }_0={\mathbf{\gamma }}_n^{\prime }{\mathbf{a}}_n+{\sigma }^2=a_1{\gamma }_1+\cdots +a_p{\gamma }_p+{\sigma }^2=a_1{\gamma }_{-1}+\cdots +a_p{\gamma }_{-p}+{\sigma }^2.$$
现在对$k<0$的情况证明，有
$$\begin{array}{rl}A(\mathcal{B}){\gamma }_k=& {\gamma }_k-(a_1{\gamma }_{k-1}+\cdots +a_p{\gamma }_{k-p})\\ =& \mathrm{E}\left[X_{t-k}\left(X_t-\sum _{j=1}^p{a}_j{X}_{t-j}\right)\right]\\ =& \mathrm{E}[X_{t-k}{\epsilon }_t]\\ =& \mathrm{E}\left(\sum _{j=0}^{\infty }{\psi }_j{\epsilon }_{t-k-j}{\epsilon }_t\right)\\ =& {\sigma }^2{\psi }_{-k}.\end{array}$$
这就证明了$A(\mathcal{B}){\gamma }_k={\sigma }^2{\psi }_{-k}$。

3.自协方差函数的正定性

由于$\mathrm{A}\mathrm{R}(p)$模型的平稳解唯一，仅由自回归系数和方差就能唯一确定，并得到平稳解的自协方差函数列。但是反过来，我们能否根据自协方差函数列推断自回归系数和方差呢？还是从Yule-Walker方程入手：
$${\mathbf{\gamma }}_n={\Gamma }_n{\mathbf{a}}_n,{\gamma }_0={\mathbf{\gamma }}_n^{\prime }{\mathbf{a}}_n+{\sigma }^2.$$
因为${\mathbf{a}}_n$在$p$位置之后的元素都是0，所以取$n=p$就足够我们计算所有的自回归系数了，并且如果${\Gamma }_p$是可逆的，也就是${\Gamma }_p$不退化，结合自身非负定性即${\Gamma }_p$如果是正定的，就得到
$${\mathbf{a}}_p={\Gamma }_p^{-1}{\mathbf{\gamma }}_p,{\sigma }^2={\gamma }_0-{\mathbf{\gamma }}_p^{\prime }{\mathbf{a}}_p.$$
所以，一切问题都来到了${\Gamma }_p$是否是正定矩阵上。幸好，实际生活中的许多平稳序列的自协方差矩阵都是正定的，特别是$\mathrm{A}\mathrm{R}(p)$序列的自协方差矩阵总是正定的。接下来提出两个定理：

自协方差矩阵正定定理：对于平稳序列 { X t } \{X_t\} {Xt​}，其$n$阶自协方差矩阵为${\Gamma }_n$，则

1. 如果 { X t } \{X_t\} {Xt​}的谱密度$f(\lambda )$存在，则对任何$n\ge 1$，${\Gamma }_n$正定；
2. 如果当$k\to \infty$时${\gamma }_k\to 0$，则对任何$n\ge 1$，${\Gamma }_n$正定。

特别对于$\mathrm{A}\mathrm{R}(p)$序列，其自协方差函数以负指数阶收敛于0，且谱密度存在（下一篇中将给出谱密度的形式），所以其自协方差矩阵总是正定的。

以下对这两种情况分别给出证明。

对于谱密度存在的情况，对于任何$n$维实向量$\mathbf{b}=(b_1,\cdots ,b_n{)}^{\prime }\ne 0$，函数${\sum }_{k=1}^n{b}_k{e}^{\mathrm{i}k\lambda }$最多只有$n$个零点，且${\gamma }_0={\int }_{-\pi }^{\pi }f(\lambda )\mathrm{d}\lambda >0$，所以
$$\begin{array}{rl}{\mathbf{b}}^{\prime }{\Gamma }_n\mathbf{b}=& \sum _{j=1}^n\sum _{k=1}^n{b}_j{b}_k{\gamma }_{k-j}\\ =& \sum _{j=1}^n\sum _{k=1}^n{\int }_{-\pi }^{\pi }{b}_k{b}_j{e}^{\mathrm{i}(k-j)\lambda }f(\lambda )\mathrm{d}\lambda \\ =& {\int }_{-\pi }^{\pi }\sum _{j=1}^n\sum _{k=1}^n{b}_k{e}^{\mathrm{i}k\lambda }{b}_j{e}^{-\mathrm{i}k\lambda }f(\lambda )\mathrm{d}\lambda \\ =& {\int }_{-\pi }^{\pi }{\left|\sum _{j=1}^n{b}_j{e}^{\mathrm{i}j\lambda }\right|}^{2}f(\lambda )\mathrm{d}\lambda >0.\end{array}$$
最后一个不等号成立，是因为前半部分$0|{\sum }_{j=1}^n{b}_j{e}^{\mathrm{i}j\lambda }{|}^2$只在有限个点处为0，其他部分为正；后半部分$f(\lambda )$因为${\int }_{-\pi }^{\pi }f(\lambda )\mathrm{d}\lambda$，必定存在一个测度不为0的集合使得$f(\lambda )>0$，所以${\mathbf{b}}^{\prime }{\Gamma }_n\mathbf{b}>0$。

第二种情况的证明稍显繁琐，我们想反证法推出矛盾，如果${\Gamma }_n$正定但$\det ({\Gamma }_{n+1})=0$，$\mathrm{E}{X}_t=0$，定义${\mathbf{X}}_n=(X_1,\cdots ,X_n{)}^{\prime }$，则对任何实向量$\mathbf{b}=(b_1,\cdots ,b_n)\ne 0$，有
$$\mathrm{E}({\mathbf{b}}^{\prime }{\mathbf{X}}_n{)}^2=\mathrm{E}({\mathbf{b}}^{\prime }{\mathbf{X}}_n{\mathbf{X}}_n^{\prime }\mathbf{b})={\mathbf{b}}^{\prime }{\Gamma }_n\mathbf{b}>0,$$
同时存在$\mathbf{a}=(a_1,\cdots ,a_{n+1}{)}^{\prime }\ne 0$，使得$\mathrm{E}({\mathbf{a}}^{\prime }{\mathbf{X}}_{n+1}{)}^2={\mathbf{a}}^{\prime }{\Gamma }_{n+1}\mathbf{a}=0$，所以
$${\mathbf{a}}^{\prime }{\mathbf{X}}_{n+1}=a_1{X}_1+\cdots +a_n{X}_n+a_{n+1}{X}_{n+1}=0,\mathrm{a}.\mathrm{s}.$$
并且由于$X_1,\cdots ,X_n$线性无关得知$a_{n+1}\ne 0$，$X_{n+1}$可以被$X_1,\cdots ,X_n$线性表示。这样，利用 { X t } \{X_t\} {Xt​}的平稳性就得到$\forall k\ge 1,X_{n+k}$可以被$X_1,\cdots ,X_n$线性表示，即存在实向量$\mathbf{\alpha }=({\alpha }_1,\cdots ,{\alpha }_n{)}^{\prime }$，使得
$$X_{n+k}={\mathbf{\alpha }}^{\prime }\mathbf{X}.$$
因为${\Gamma }_n$是正定对称阵，有$0<{\lambda }_1\le \cdots \le {\lambda }_n$（正定），并且有正交阵$T$使得$T{\Gamma }_n{T}^{\prime }=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\lambda }_1,\cdots ,{\lambda }_n)$（对称），于是
$${\gamma }_0=\mathrm{E}{X}_{n+k}^2=\mathrm{E}({\mathbf{\alpha }}^{\prime }\mathbf{X}{)}^2={\mathbf{\alpha }}^{\prime }{\Gamma }_n\mathbf{a}=({\mathbf{\alpha }}^{\prime }{T}^{\prime })(T{\Gamma }_n{T}^{\prime })(T\mathbf{\alpha })\ge {\lambda }_1|T\mathbf{\alpha }{|}^2={\lambda }_1|\mathbf{\alpha }{|}^2.$$
得到$0<|\mathbf{\alpha }|\le \sqrt{{\gamma }_0/{\lambda }_1}$，这里找到了$\mathbf{\alpha }$的模的与$n$无关的上界；另一边又有
γ 0 = E ( a ′ X X n + k ) = a ′ E ( X X n + k ) = a ′ ( γ n + k − 1 , γ n + k − 2 , ⋯   , γ k ) ′ ≤ ∣ a ∣ ( ∑ j = 0 n − 1 γ j + k 2 ) 1 / 2 ≤ ( γ 0 γ 1 ∑ j = 0 n − 1 γ j + k 2 ) 1 / 2 → 0. \begin{aligned} \gamma_0=&{\rm E}(\boldsymbol a'\boldsymbol XX_{n+k})\\ =&\boldsymbol a'{\rm E}(\boldsymbol XX_{n+k})\\ =&\boldsymbol a'(\gamma_{n+k-1},\gamma_{n+k-2},\cdots,\gamma_k)'\\ \le& |\boldsymbol a|\left(\sum_{j=0}^{n-1}\gamma_{j+k}^2 \right)^{1/2}\\ \le&\left(\frac{\gamma_0}{\gamma_1}\sum_{j=0}^{n-1}\gamma_{j+k}^2\right)^{1/2}\to 0. \end{aligned} γ0​===≤≤​E(a′XXn+k​)a′E(XXn+k​)a′(γn+k−1​,γn+k−2​,⋯,γk​)′∣a∣(j=0∑n−1​γj+k2​)1/2(γ1​γ0​​j=0∑n−1​γj+k2​)1/2→0.​
这里推出了矛盾。综合以上证明过程，我们通过研究$X_1,\cdots ,X_n,X_{n+1}$的线性相关性得到了$X_{n+k}$可以被$X_1,\cdots ,X_n$线性表示这一结论，再通过${\gamma }_0$的两种不同展开方式得到了矛盾，最终证明了${\Gamma }_n$正定的情况下${\Gamma }_{n+1}$一定也是正定的，再结合${\gamma }_0>0$这一基本事实，得到${\Gamma }_n$的正定性对任何$n$成立。

别忘了我们证明${\Gamma }_n$的目的，有了${\Gamma }_n$的正定性，就说明${\Gamma }_n$是可逆的，于是可以由Yule-Walker方程得到
$${\mathbf{a}}_p={\Gamma }_p^{-1}{\mathbf{\gamma }}_p,{\sigma }^2={\gamma }_0-{\mathbf{\gamma }}_p^{\prime }{\mathbf{a}}_p.$$
但仍有一个问题：在实际运用中，我们不一定知道$\mathrm{A}\mathrm{R}(p)$方程的阶数$p$，那应该怎么取$p$才能得到合适的自回归系数个数呢？这是我们之后会讨论到的问题。

回顾总结

1. $\mathrm{A}\mathrm{R}(p)$序列是满足$\mathrm{A}\mathrm{R}(p)$模型的平稳序列，是一个关于Wold系数${\psi }_j$的单边无穷滑动和，故均值为0，自协方差函数为
   $${\gamma }_k={\sigma }^2\sum _{j=0}^{\infty }{\psi }_j{\psi }_{j+k},k\in \mathbb{Z}.$$

2. $\mathrm{A}\mathrm{R}(p)$序列的自协方差函数${\gamma }_k$以负指数阶收敛到0，即$|{\gamma }_k|=o({\rho }^{-k})$。

3. Yule-Walker方程联系了自协方差函数与自回归系数、白噪声方差，还可以联系Wold系数，其通式是$A(\mathcal{B}){\gamma }_k={\sigma }^2{\psi }_{-k}$。

4. 常用的Yule-Walker方程形式是，对于${\mathbf{a}}_n=(a_1,\cdots ,a_p,0,\cdots ,0{)}_n^{\prime },{\mathbf{\gamma }}_n=({\gamma }_1,\cdots ,{\gamma }_n{)}^{\prime }$，有
   $${\mathbf{\gamma }}_n={\Gamma }_n{\mathbf{a}}_n,{\gamma }_0={\mathbf{\gamma }}_n^{\prime }{\mathbf{a}}_n+{\sigma }^2,n\ge p.$$

5. 对于一般平稳序列，如果其谱密度存在，或者自协方差函数列趋向于0，则其自协方差矩阵是任意阶正定的。

6. $\mathrm{A}\mathrm{R}(p)$序列的自协方差矩阵总是正定的，从而在给定$p$的情况下有
   $${\mathbf{a}}_p={\Gamma }_p^{-1}{\mathbf{\gamma }}_p,{\sigma }^2={\gamma }_0-{\mathbf{\gamma }}_p^{\prime }{\mathbf{a}}_p.$$
   这一般被用来估计自回归系数与白噪声方差。