时间序列之AR、MA、ARMA、ARIMA模型

最新推荐文章于 2025-04-05 16:20:51 发布

卖山楂啦prss

最新推荐文章于 2025-04-05 16:20:51 发布

阅读量5k

点赞数 10

分类专栏：统计学

本文链接：https://blog.csdn.net/qq_42374697/article/details/106643694

版权

统计学专栏收录该内容

45 篇文章

订阅专栏

参考：《时间序列分析—基于R王燕编著》

一、时间序列分析

时间序列分法主要针对动态数据进行处理。该方法是以数理统计学方法和随机过程理论为基础，并对一序列随机数据所遵从的统计规律进行研究，以方便解决实际工作中存在的问题。

实质：时间序列分析就是对时间序列进行观察、研究，寻找它变化发展的规律，预测它将来的走势。

时间序列分析法的基本过程主要有：时间序列分析预处理、时间序列基本模型、ARIMA模型建模。

1.1 数据预处理

对于一组观察值序列，首先要对它的平稳性和纯随机性进行检验，根据检验的结果可以将序列分为不同的类型，对不同类型的序列采用不同的分析方法。

自协方差函数
$\gamma \left( t,s \right) =E\left[ \left( X_t-\mu _t \right) \left( X_s-\mu _s \right) \right]$
自相关系数（ACF）
$p\left( t,s \right) =\frac{\gamma \left( t,s \right)}{\sqrt{DX_t\cdot DX_s}}$

自协方差函数和自相关系数度量的是同一事件在两个不同时期之间的相关程度

（1）平稳性检验

时间序列的分析方法的关键步骤就是对数据预先进行平稳性检验。通常我们首先使用时间序列图和自相关图粗略的观察数据是否平稳，对于不确定的序列再进一步构造检验统计量进行假设检验。

一个时间序列，如果均值没有系统的变化（无趋势）、方差没有系统变化，且严格消除了周期性变化，就称之是平稳的

严平稳：当序列所有的统计性质都不会随着时间的推移而发生变化时，该序列被认为平稳。
$F_{t_1,t_2,\cdots ,t_m}\left( x_1,x_2,\cdots ,x_m \right) =F_{t_{1+k},t_{2+k},\cdots ,t_{m+k}}\left( x_1,x_2,\cdots ,x_m \right)$
宽平稳：只要求序列二阶平稳，对于高于二阶的矩没有任何要求

$\left\{ \begin{array}{l} \left( 1 \right) EX_t^2<\infty \text{，}\forall t\in T\\ \\ \left( 2 \right) EX=\mu \text{，}\mu \text{为常数，}\forall t\in T\\ \\ \left( 3 \right) \gamma \left( t,s \right) =\gamma \left( k,k+s-t \right) \text{，}\forall t,s,k\ \text{且\ }k+s-k\in T\\ \end{array} \right.$

通常情况下，严平稳序列也满足宽平稳条件，而宽平稳序列不能反推严平稳成立。宽平稳一般推不出严平稳，但当序列服从多元正态分布时，二阶平稳可以推出严平稳。

平稳时间序列的统计性质

常数均值 $EX_t=\mu \text{，}\forall t\in T$
自协方差函数和自相关函数只依赖于时间的平移长度而与时间的起止点无关
$\left\{ \begin{array}{l} \gamma \left( t,s \right) =\gamma \left( k,k+s-t \right) \text{，}\forall t,s,k\in T\\ \\ \gamma \left( k \right) =\gamma \left( t,t+k \right)\\ \\ DX_t=\gamma \left( t,t \right) =\gamma \left( 0 \right)\\ \\ p_k=\frac{\gamma \left( t,t+k \right)}{\sqrt{DX_t\cdot DX_{t+k}}}=\frac{\gamma \left( k \right)}{\gamma \left( 0 \right)}\\ \end{array} \right.$

自相关系数的性质
（1）规范性 $p_0=1\ \text{且\ }\left| p_k \right|\le 1\text{，}\forall k$
（2）对称性 $p_k=p_{-k}$
（3）非负定性

平稳性的检验（图检验方法）

时序图检验
根据平稳时间序列均值、方差为常数的性质，平稳序列的时序图应该显示出该序列始终在一个常数值附近随机波动，而且波动的范围有界、无明显趋势及周期特征

在这里插入图片描述

自相关图检验（ACF）
平稳序列通常具有短期相关性。该性质用自相关系数来描述就是随着延迟期数的增加，平稳序列的自相关系数会很快地衰减向零

该序列的自相关系数一直都比较小，始终控制在2倍的标准差范围以内，可以认为该序列自始至终都在零轴附近波动，这是随机性非常强的平稳时间序列通常具有的自相关图特征。

（2）纯随机性检验

拿到一个观察值序列之后，首先是判断它的平稳性，通过平稳性检验，序列可以分为平稳序列和非平稳序列两大类

对于非平稳序列，由于它不具有二阶矩平稳的性质，所以对它的统计分析要费一些周折，通常要通过进一步的检验、变换或处理，才能确定适当的拟合模型

对于平稳序列，则继续进行纯随机性检验

如果时间序列 $\left\{ X_t \right\}$ 满足如下性质：

任取 $t\in T$ ，有 $EX_t=\mu$ ；
任取 $t,s\in T$ ，有

$\gamma \left( t,s \right) =\left\{ \begin{array}{l} \begin{array}{c} \sigma ^2\ \text{，}t=s\\ \end{array}\\ \begin{array}{c} \\ 0\ \ \ \text{，}t\ne s\\ \end{array}\\ \end{array} \right.$

则称序列 $\left\{ X_t \right\}$ 为纯随机序列，也称为白噪声序列。即如果一个纯随机过程的期望和方差为常数，则称为白噪声过程，白噪声过程是平稳的随机过程。

白噪声序列的性质

纯随机性 $\gamma \left( k \right) =0\ ,\ \forall k\ne 0$ ，各序列值之间没有任何相关关系，即为“没有记忆”的序列
方差齐性，即序列中每个变量的方差相等， $DX_t=\gamma \left( 0 \right) =\sigma ^2$ ，如果不满足方差齐性，则该序列具有异方差性质。

纯随机性检验也称为白噪声检验，是专门用来检验序列是否为纯随机序列的一种方法，如果一个序列是纯随机序列，那么它的序列值之间应该没有任何相关关系，即满足 $\gamma \left( k \right) =0\ ,\ \forall k\ne 0$ ，这是一种理论上才会出现的理想状况.实际上，由于观察值序列的有限性，导致纯随机序列的样本自相关系数不会绝对为零。

在这里插入图片描述
样本自相关图显示这个纯随机序列没有一个样本自相关系数严格等于零。但这些自相关系数确实都非常小，都在零值附近以一个很小的幅度随机波动，从统计意义上来判断序列的纯随机性质

如果一个时间序列是纯随机的，得到一个观察期数为n的观察序列，那么该序列的延迟非零期的样本自相关系数将近似服从均值为零、方差为序列观察期数倒数的正态分布。

（3）单位根检验

在实际生活中，当我们直接拿出一组时间序列数据时，常常是不清楚时间序列的产生过程的，如果我们需要建立相对准确的模型，第一要解决的就是序列是否平稳的问题，其后才能继续往下建模。

所谓单位根检验就是判断序列中是否存在单位根，称之为DF检验方法。DF检验常用于检验 AR(1) 过程的平稳性。随着研究的进一步推进，为了更好的得到检验效果，学者们进一步改进修正了DF检验，得到ADF检验。

这里主要介绍DF和ADF检验单位根检验的方法原理。

1) DF检验
以一阶自回归序列为例：

一个序列经过预处理被识别为平稳非白噪声序列，那就说明该序列是一个蕴涵着相关信息的平稳序列。

二、适用于平稳序列的三种基本模型

平稳时间序列模型主要包含三种类型：AR、MA和ARMA，它们有各自的适用范围和条件。

2.1 自回归模型—AR模型

p阶自回归模型（ $AR\left( p \right)$ ）结构如下：
$\left\{ \begin{array}{l} x_t=\phi _0+\phi _1x_{t-1}+\phi _2x_{t-2}+\cdots +\phi _px_{t-p}+\varepsilon _t\\ \\ \phi _p\ne 0\\ \\ E\left( \varepsilon _t \right) =0\text{，}Var\left( \varepsilon _t \right) =\sigma _{\varepsilon}^2\text{，}E\left( \varepsilon _t\varepsilon _s \right) =0\text{，}s\ne t\\ \\ E\left( x_s\varepsilon _t \right) =0\text{，}\forall s<t\\ \end{array} \right.$

$\phi _1,\phi _2,\cdots ,\phi _p$ 为自回归系数，当 $\phi _0=0$ 时，自回归模型为中心化模型，中心化模型是最常见的。

$x_t$ 的变化主要与时间序列的历史数据有关，与其它因素无关。因此模型含义为：用时间序列的历史数据的线性组合来表达当前预测值。

AR模型平稳性判别
判别原因

AR模型是常用的平稳序列的拟合模型之一，但并非所有的AR模型都是平稳的

判别方法

单位根判别法
平稳域判别法

记 $B^k$ 为 k 步滞后算子，即 $B^kx_t=x_{t-k}$ ，则AR模型可以表示为

$x_t=\left( \phi _1B+\phi _2B^2+\cdots +\phi _pB^p \right) x_t+\varepsilon _t$

令 $\phi \left( B \right) =1-\phi _1B-\cdots -\phi _pB^p$ ，则模型可以表示为：
$\phi \left( B \right) x_t=\varepsilon _t$
因此，AR模型的自回归系数多项式 $\phi \left( B \right) =1-\phi _1B-\cdots -\phi _pB^p$ 的根，即 $\phi \left( B \right) =0$ 的根，都在单位圆外。

2.2 移动平均模型—MA(q)模型

q 阶自回归模型（ $MA\left( q \right)$ ）结构如下：

$\left\{ \begin{array}{l} x_t=\mu +\varepsilon _t-\theta _1\varepsilon _{t-1}-\theta _2\varepsilon _{t-2}-\cdots -\theta _q\varepsilon _{t-q}\\ \\ \theta _q\ne 0\\ \\ E\left( \varepsilon _t \right) =0\text{，}Var\left( \varepsilon _t \right) =\sigma _{\varepsilon}^2\text{，}E\left( \varepsilon _t\varepsilon _s \right) =0\text{，}s\ne t\\ \end{array} \right.$

其中， $\theta _1,\theta _2,\cdots ,\theta _q$ 为移动平均系数

模型含义：
用过去各个时期的随机干扰或预测误差的线性组合来表达当前预测值。

若用滞后算子 $B^k$ 表示，令 $\theta \left( B \right) =1-\theta _1B-\theta _2B^2-\cdots -\theta _qB^p$ 为 q 阶移动平均系数多项式。则模型可以写为
$x_t=\theta \left( B \right) \varepsilon _t$ 任何条件下，MA(q)模型都是平稳的。MA(q)模型的可逆条件是模型的系数多项式的根都在单位圆外。

2.3 自回归移动平均模型 —ARMA(p,q) 模型

模型结构如下：
$\left\{ \begin{array}{l} x_t=\phi _0+\phi _1x_{t-1}+\cdots +\phi _px_{t-p}+\varepsilon _t-\theta _1\varepsilon _{t-1}-\cdots -\theta _q\varepsilon _{t-q}\\ \\ \phi _p\ne 0\text{，}\theta _q\ne 0\\ \\ E\left( \varepsilon _t \right) =0\text{，}Var\left( \varepsilon _t \right) =\sigma _{\varepsilon}^2\text{，}E\left( \varepsilon _t\varepsilon _s \right) =0\text{，}s\ne t\\ \\ E\left( x_s\varepsilon _t \right) =0\text{，}\forall s<t\\ \end{array} \right.$

$\phi _1,\phi _2,\cdots ,\phi _p$ 为自回归系数， $\theta _1,\theta _2,\cdots ,\theta _q$ 为移动平均系数

对于ARMA(p,q) 模型，当 q=0 时，模型即为 $AR\left( p \right)$ 模型；当 p=0 时，模型即为 MA(q)模型

如果用滞后算子 $B^k$ 表示，则 ARMA(p,q) 模型可以写为：
$\phi \left( B \right) =\theta \left( B \right) \varepsilon _t$

ARMA(p,q) 模型的平稳条件是： $\phi \left( B \right) =0$ 的根，都在单位圆外。

实际问题中，多数要用此模型。因此建模解模的主要工作是求解 p、q 和 $\phi \text{，}\theta$ 的值，检验 $\varepsilon _t$ 和 $x_t$ 的值。

实际应用中p、q一般不超过2。

2.4 平稳序列建模

平稳序列模型就包括上述的 AR、MA、ARMA模型

2.4.1 建模步骤

假如某个观察值序列通过序列预处理可以判定为平稳非白噪声序列，就可以利用ARMA模型对该序列建模.建模的基本步骤如下：

（1）求出该观察值序列的样本自相关系数（ACF）和样本偏自相关系数（PACF）的值
（2）根据样本自相关系数和偏自相关系数的性质，选择阶数适当的 ARMA(p,q) 模型进行拟合
（3）估计模型中未知参数的值
（4）检验模型的有效性.如果拟合模型未通过检验，回到步骤（2），重新选择模型拟合
（5）模型优化。如果拟合模型通过检验，仍然回到步骤（2），充分考虑各种可能，建立多个拟合模型，从所有通过检验的拟合模型中选择最优模型
（6）利用拟合模型，预测序列将来的走势

在这里插入图片描述

事实上，可以总结为四步：

步骤1：模型识别
步骤2：模型估计
步骤3：模型的诊断检验
步骤4：模型预测

（1）模型识别

自相关函数ACF
偏自相关函数PACF ——度量了消除中间滞后项影响后两滞后变量之间的相关关系
以及各自的相关图（即ACF、PACF相对于滞后长度描图）

求出该观察值序列的样本自相关系数（ACF）和样本偏自相关系数（PACF）的值，用统计软件绘制出 ACF 与 PACF 的图形，根据取值以及图形，结合下表初步得出模型形式。

在这里插入图片描述

通过图形判别方式：

如果样本自相关系数 ACF 或偏自相关系数 PACF 在最初的 d 阶明显超过2倍标准差范围，而后几乎95%的自相关系数都落在2倍标准差的范围以内，而且由非零自相关系数衰减为小值波动的过程非常突然，这时，通常视为自相关系数截尾，截尾阶数为d.
如果有超过5%的样本自相关系数落入2倍标准差范围之外，或者由显著非零的自相关系数衰减为小值波动的过程比较缓慢或者非常连续，这时，通常视为自相关系数不截尾

书中例子
例1——AR
在这里插入图片描述
序列没有显著非平稳特征

上图，除了延迟1~3阶的自相关系数在2倍标准差范围之外，其他阶数的自相关系数都在2倍标准差范围内波动，根据自相关系数的这个特点可以判断该序列具有短期相关性，进一步确定序列平稳。