自回归，移动平均模型，ARMA，ARIMA

近段时间在论文里经常见到一些学者用自回归模型（Auto-regression）等生成时间序列数据的随机数，或者使用 ARIMA 模型做时间序列数据的预测，决定总结一下。

1. 一些理论知识

1.1 平稳性

对于一个时间序列 { x t } \{x_t\} {xt​}，均值、方差对于任意时间段 $t$ 都是相同的，并且对于任何相同的时间间隔 $s$，协方差 $Cov(x_t,x_{t+s})$ 也相同，则称该时间序列为平稳的。（这个定义为宽平稳，严格平稳要求对于相同的时间间隔，联合分布完全相同）

1.2 自相关函数 ACF

平稳性检验可以通过计算时间序列数据的自相关函数（ACF，autocorrelation function)，画出图像看出，看是否随着阶数的增加能很快趋于零。国内一些教科书把自相关函数翻译成自相关系数。

$h$ 阶自相关函数 (ACF) ${\rho }_h$ 为：
$${\rho }_h=\frac{\gamma (t+h,t)}{\sqrt{\gamma (t+h,t+h)\gamma (t,t)}}$$

其中，$\gamma (t+h,t)$ 为 序列 $x_t$ 与 $x_{t+h}$ 的自协方差，即

$$\gamma (t+h,t)=Cov(x_{t+h},x_t)$$

对于平稳性时间序列，由于相同间隔的协方差相同，上面的表达式可以简写：由于 $\gamma (t+h,t)=\gamma (h,0)$，$\gamma (t+h,t)$ 可以简写成 ${\gamma }_h$，$\gamma (t+h,t+h)=\gamma (t,t)={\gamma }_0$，因此

$${\rho }_h=\frac{{\gamma }_h}{{\gamma }_0}$$

更标准的平稳性检验是单位根检验：ADF检验

1.3 偏自相关函数 PACF

将 $x_t$ 分别写成 $x_{t-1}$, $x_{t-2}$, $\dots$, $x_{t-k}$ 的回归函数，相应的回归系数是偏自相关函数（国内教科书也称偏自相关系数）：
$$\begin{array}{rl}{x}_t=& c_1+{\varphi }_{11}{x}_{t-1}+{ϵ}_{1t}\\ x_t=& c_2+{\varphi }_{21}{x}_{t-1}+{\varphi }_{22}{x}_{t-2}+{ϵ}_{2t}\\ ⋮& \\ x_t=& c_k+{\varphi }_{k1}{x}_{t-1}+{\varphi }_{k2}{x}_{t-2}+\cdots +{\varphi }_{kk}{x}_{t-k}+{ϵ}_{kt}\end{array}$$

其中，${\varphi }_{11}$ 是 $x_t$ 与 $x_{t-1}$ 的偏自相关系数，${\varphi }_{22}$ 是 $x_t$ 与 $x_{t-2}$ 的偏自相关系数，${\varphi }_{kk}$ 是 $x_t$ 与 $x_{t-k}$ 的偏自相关系数。

1.4 自回归模型（AR）

时间序列数据 { x t } \{x_t\} {xt​} 可以表示为它的前期值和随机误差项的线性函数，即

$$x_t=\mu +{\phi }_1{x}_{t-1}+{\phi }_2{x}_{t-2}+\cdots +{\phi }_p{x}_{t-p}+{\epsilon }_t$$

该模型为 $p$ 阶自回归模型，记为 $AR(p)$。其中，$\mu$ 为 $x_t$ 的均值，${\epsilon }_t$ 为均值为 0， 方差为 ${\sigma }^2$ 的白噪声序列。

时间序列模型可以引入之后算子 $B$：$B{x}_1=x_{t-1}$，$B^2{x}_t=x_{t-2}$, $\dots$, $B^p{x}_t=x_{t-p}$，则自回归模型也可以表示为：

$$x_t=\mu +{\phi }_{1}B{x}_t+{\phi }_2{B}^2{x}_t+\cdots +{\phi }_p{B}^p{x}_t+{\epsilon }_t$$

令 $\phi (B)=1-{\phi }_{1}B-{\phi }_2{B}^2-\cdots -{\phi }_p{B}^p$，则自回归模型可以表示为：

$$x_t\phi (B)=\mu +{\epsilon }_t$$

1.5 移动平均模型（MA）

时间序列数据 { x t } \{x_t\} {xt​} 可以表示为它的前期随机误差项的线性函数，即
$$x_t=\mu +{\epsilon }_t+{\theta }_1{\epsilon }_{t-1}+\cdots +{\theta }_q{\epsilon }_{t-q}$$

该模型为 $q$ 阶移动回归模型，记为 $MA(q)$。

1.6 自回归移动平均模型（ARMA）

时间序列数据 { x t } \{x_t\} {xt​} 可以表示为：
$$x_t=\mu ++{\phi }_1{x}_{t-1}+{\phi }_2{x}_{t-2}+\cdots +{\phi }_p{x}_{t-p}+{\epsilon }_t+{\theta }_1{\epsilon }_{t-1}+\cdots +{\theta }_q{\epsilon }_{t-q}$$

这个移动平均（moving-average）模型跟预测方法中常规的移动平均（moving average）不一样。

1.7 移动平均自回归模型（ARIMA）

时间序列数据 { x t } \{x_t\} {xt​} 被称为 $ARIMA(p,d,q)$，若
$${▽}^d{x}_t=(1-B{)}^{d}x$$
是 $ARMA(P,Q)$.

其中，$(1-B{)}^{d}x$ 表示 $x_t$ 的 $d$ 阶差分。即 $x_t$ 的 $d$ 阶差分是自回归移动平均模型。

一阶差分：$x_t^{\prime }=x_t-x_{t-1}$，
二阶差分：$x_t^{\prime \prime }=x_t^{\prime }-x_{t-1}^{\prime }=x_t-x_{t-1}-(x_{t-1}-x_{t-2})=x_t-2x_{t-1}+x_{t-2}=(1-B{)}^{2}x$

2. 做 ARIMA 的步骤

• 先做平稳性 ADF 检验，若不平稳，则做差分，更高阶的差分，直到通过平稳性检验为止，依次确定差分阶数 $d$
• 一般通过看偏自相关系系数 PACF 图，确定自回归阶数 $p$ （若第 $i$ 阶的 PACF 值低于置信区间上下界，则 $p=i-1$）。PACF 系数95%置信区间的上下界为 $\pm 1.96/\sqrt{n}$，其中 $n$ 为样本个数
• 一般通过看自相关系数 ACF 图，确定移动平均阶数 $q$。ACF 系数95%置信区间的上下界也可以近似为 $\pm 1.96/\sqrt{n}$

参考文献¹²

---

1. 傅德印，应用多元统计分析，高等教育出版社，2013 ↩︎

2. https://www.machinelearningplus.com/time-series/arima-model-time-series-forecasting-python/ ↩︎