AR(Autoregressive)模型

背景介绍

自回归模型：用同一变量的历史值预测未来值。
应用背景：弱平稳时间序列 { x t } \{x_t\} {xt​}(即满足：$E(x_t)=\mu ,Cov(x_t,x_{t-l})={\gamma }_l$性质的时间序列)

模型

$$\{\begin{array}{rl}& x_t={\phi }_0+\sum _{i=1}^p{\phi }_i{x}_{t-i}+{\epsilon }_t\\ & {\phi }_p\ne 0\\ & E({\epsilon }_t)=0,var({\epsilon }_t)={\sigma }^2,E({\epsilon }_t{\epsilon }_s)=0,s\ne t\\ & E(x_s{\epsilon }_t)=0,\forall s<t\end{array}\text{\hspace{1em}(1)}$$

限制条件

• ${\phi }_p\ne 0$，确保模型的最高阶数为$p$；
• $E({\epsilon }_i)=0,Var({\epsilon }_i)={\sigma }_{\epsilon }^2,E({\epsilon }_t{\epsilon }_s)=0,s\ne t$，要求随机干扰序列 { ε t } \{\varepsilon_t\} {εt​}为零均值白噪声序列；
• $E(x_s{\epsilon }_t)=0,\forall s<t$，当期的随机干扰与过去的序列值无关。

通常默认限制条件，把$AR(p)$模型简记为：
$$x_t={\phi }_0+\sum _{i=1}^p{\phi }_i{x}_{t-i}+{\epsilon }_t\text{\hspace{1em}(2)}$$

---

统计性质

均值

由 { x t } \{x_t\} {xt​}的弱平稳性知，$E(x_t)=\mu$
$$E(x_t)={\phi }_0+\sum _{i=1}^p{\phi }_{i}E(x_{t-i})+E({\epsilon }_t)\text{\hspace{1em}(3)}$$

$$\mu =\frac{{\phi }_0}{1-{\sum }_{i=1}^p{\phi }_i}\text{\hspace{1em}(4)}$$

对于中心化$AR(p)$模型，有$E(x_t)=0$，显然对于任意$AR(p)$模型都可以通过减去自身均值$\mu$从而变为中心化$AR(p)$模型。

自协方差函数

含义：度量变量过去的行为对现在的影响。

定义1：对于时间序列 { x t , t ∈ T } \{x_t,t \in T\} {xt​,t∈T}，任取$t,s\in T$，${\gamma }_{t,s}$为序列 { x t } \{x_t\} {xt​}的自协方差函数
$${\gamma }_{t,s}=E(x_t-{\mu }_t)(x_s-{\mu }_s)\text{\hspace{1em}(5)}$$
对于中心化$AR(p)$模型而言，${\mu }_t={\mu }_s=0$，因此
$${\gamma }_{t,s}=E(x_t{x}_s)\text{\hspace{1em}(6)}$$
定义2：${\gamma }_k$为时间序列 { x t } \{x_t\} {xt​}的延迟$k$阶自协方差函数${\gamma }_k={\gamma }_{t,t-k}=E(x_t,x_{t-k})$。

在中心化$AR(p)$模型$x_t={\sum }_{i=1}^p{\phi }_i{x}_{t-i}+{\epsilon }_t$等式两边同乘$x_{t-k}(k\ge 1)$，再求期望得
$$E(x_t{x}_{t-k})=\sum _{i=1}^p{\phi }_{i}E(x_{t-i}{x}_{t-k})+E({\epsilon }_t{x}_{t-k}),\forall k\ge 1\text{\hspace{1em}(7)}$$
由$AR(p)$模型的条件三知$E({\epsilon }_t{x}_{t-k})=0$，所以
$${\gamma }_k=\sum _{i=1}^p{\phi }_i{\gamma }_{k-i}\text{\hspace{1em}(8)}$$

自相关系数

$${\rho }_k=\frac{{\gamma }_{t,t-k}}{\sqrt{var(x_t)var(x_{t+k})}}=\frac{{\gamma }_k}{{\gamma }_0}\text{\hspace{1em}(9)}$$

偏自相关系数

定义

对于平稳序列 { x t } \{x_t\} {xt​}，滞后$k$偏自相关系数就是在给定时间序列中间$k-1$个随机变量$x_{t-1},x_{t-2},\cdots ,x_{t-k+1}$的条件下，$x_{t-k}$对$x_t$相关影响的度量。
$${\rho }_{x_t,x_{t-k}|x_{t-1,\cdots ,x_{t-k+1}}}=\frac{E[(x_t-\hat{E}{x}_t)(x_{t-k}-\hat{E}{x}_{t-k})]}{E[(x_{t-k}-\hat{E}{x}_{t-k}{)}^2]}\text{\hspace{1em}(10)}$$
式中，$\hat{E}{x}_t=E[x_t|x_{t-1,\cdots ,x_{t-k+1}}]$，$\hat{E}{x}_{t-k}=E[x_{t-k}|x_{t-1,\cdots ,x_{t-k+1}}]$

计算方式

考虑 { x t } \{x_t\} {xt​}为中心化平稳序列，用过去的$k$期序列值$x_{t-1},x_{t-2},\cdots ,x_{t-k}$对$x_i$作$k$阶自回归拟合，即
$$x_t={\phi }_{k1}{x}_{t-1}+{\phi }_{k2}{x}_{t-2}+\cdots +{\phi }_{kk}{x}_{t-k}+{\epsilon }_k\text{\hspace{1em}(11)}$$
取期望有：
$$\hat{E}{x}_t=\sum _{i=1}^{k-1}{\phi }_{ki}{x}_{t-i}+{\phi }_{kk}\hat{E}(x_{t-k})\text{\hspace{1em}(12)}$$

$$x_t-\hat{E}{x}_t={\phi }_{kk}(x_{t-k}-\hat{E}{x}_{t-k})+{\epsilon }_t\text{\hspace{1em}(13)}$$
等式两边同乘$x_{t-k}-\hat{E}{x}_{t-k}$，并求期望有：
$$E[(x_t-\hat{E}{x}_t)(x_{t-k}-\hat{E}{x}_{t-k})]={\phi }_{kk}E[(x_{t-k}-\hat{E}{x}_{t-k}{)}^2]\text{\hspace{1em}(14)}$$

$${\phi }_{kk}=\frac{E[(x_t-\hat{E}{x}_t)(x_{t-k}-\hat{E}{x}_{t-k})]}{E[(x_{t-k}-\hat{E}{x}_{t-k}{)}^2]}\text{\hspace{1em}(15)}$$
滞后$k$偏自相关系数实际上就等于$k$阶自回归模型第$k$个回归系数${\phi }_{kk}$的值。可以证明平稳$AR(p)$模型的偏自相关系数具有$p$步截尾性，即${\phi }_{kk}=0(\forall k>p)$。

---

定阶

$AR$模型可使用偏自相关函数$PACF$截尾(相关系数快速收敛到等于0的置信区间内)定阶。

---

预测

不妨设预测原点为$h$，$F_h$表示在预测原点已知信息，${\hat{x}}_h(l)$为序列 { x t } \{x_t\} {xt​}的以$x_h$为预测原点的向前$l$步预测（即：在预测原点$h$已知信息$F_h$的条件下，$x_{h+l}$的条件均值）。

1步预测

$$\begin{array}{rl}{x}_{h+1}& ={\phi }_0+\sum _{i=1}^p{\phi }_i{x}_{h+1-i}+{\epsilon }_{h+1}\\ {\hat{x}}_h(1)& =E(x_{h+1}|F_h)={\phi }_0+\sum _{i=1}^p{\phi }_i{x}_{h+1-i}\end{array}\text{\hspace{1em}(16)}$$
注意：$E({\epsilon }_{h+1})=0$，是因为随机误差是白噪声序列，$E(x_{h+1-i})=x_{h+1-i}$是因为预测原点$h$的前$p$个历史值已然发生，是确定的数值。

1步预测误差：
$${\epsilon }_h(1)=x_{h+1}-x_h(1)={\epsilon }_{h+1}\text{\hspace{1em}(17)}$$
1步预测误差方差：
$$var({\epsilon }_h(1))=var({\epsilon }_{h+1})={\sigma }_{\epsilon }^2\text{\hspace{1em}(18)}$$

2步预测

$$\begin{array}{rl}{x}_{h+2}& ={\phi }_0+\sum _{i=1}^p{\phi }_i{x}_{h+2-i}+{\epsilon }_{h+2}\\ {\hat{x}}_h(2)& =E(x_{h+2}|F_h)={\phi }_0+{\phi }_1{\hat{x}}_{h+1}+\sum _{i=2}^p{\phi }_i{x}_{h+2-i}\end{array}\text{\hspace{1em}(19)}$$
注意：因为在预测原点$h$对$h+2$时刻的序列值做出预测时，$h+1$时刻的序列值并未发生，所以需要首先计算${\hat{x}}_{h+1}$作为$h+1$时刻序列值的近似替换。

2步预测误差
$$\begin{array}{rl}{\epsilon }_h(2)& =x_{h+2}-{\hat{x}}_h(2)={\phi }_1(x_{h+1}-{\hat{x}}_h(1))+{\epsilon }_{h+2}\\ & ={\epsilon }_{h+2}+{\phi }_1{\epsilon }_{h+1}\end{array}\text{\hspace{1em}(20)}$$
2步预测误差方差
$$var({\epsilon }_h(2))=(1+{\phi }_1){\sigma }_{\epsilon }^2\text{\hspace{1em}(21)}$$
显然$var({\epsilon }_h(2))>var({\epsilon }_h(1))$，这意味着预测步长的增加会使预测的不确定性也增加。

向前多步预测（$l\ge 2$）

$$\begin{array}{rl}{x}_{h+l}& ={\phi }_0+\sum _{i=1}^p{\phi }_i{x}_{h+l-i}+{\epsilon }_{h+l}\\ {\hat{x}}_h(l)& =E(x_{h+l}|F_h)={\phi }_0+\sum _{i=1}^{l-1}{\phi }_i{\hat{x}}_h(i)+\sum _{i=l}^p{\phi }_i{x}_{h+l-i}\end{array}\text{\hspace{1em}(22)}$$

优缺点

优点：简单，仅用自身变量数列就可进行预测。

缺点：变量必须具有自相关，只适用于预测与自身前期相关的经济现象，对社会因素影响较大的经济现象，不宜采用自回归。

---

王燕.应用时间序列分析[M].中国人民大学出版社.201907