前段时间学堂发了一篇推文使用(偏)自相关函数判断ARMA模型的阶数时间序列分析系列推文的内容更加完整,小编决定重新开启本系列。
参考书目是Walter Enders著,杜江、袁景安译的《应用计量经济学——时间序列分析》(第三版)。
1 ARMA模型
使用差分方程能表示一些形式简单的线性时间序列模型,如:
上式中,为常数,为差分方程的阶数,是关于时间、其他变量的当期值或滞后值的函数,称为推动过程(forcing process)。
对于ARMA模型来说,它的推动过程的形式如下:
上式是一个移动平均(moving averge)过程,为其阶数,简记为MA()。其中,为白噪音序列。
白噪音序列的特征如下:
各时期的数学期望均为0:E() = 0;
各时期的方差恒定:var() = ;
任意两个时期之间的协方差均为0:cov(, ) = 0。
当时,,再令,ARMA模型变成如下形式:
上式是一个自回归(Autoregressive)过程,简记为AR()。
自回归移动平均模型就是由AR和MA两个过程构成的,记为ARMA(, )。
2 平稳性
2.1 协方差平稳
时间序列模型一般只要求弱平稳,即协方差平稳,它包含如下三个条件:
各时期的数学期望恒定:E() = ;
各时期的方差恒定:var() = ;
任意两个时期之间的协方差仅与其时间间隔有关:cov(, ) = 。
根据以上定义,白噪音是平稳过程。MA()是白噪音序列的移动平均,可以证明,当是有限值时,MA()一定是平稳过程;当为无穷时,若对任意都有为有限值,则MA()也是平稳过程。
大多数情况下,都为有限值,因此ARMA模型的平稳性主要取决于AR()过程。
2.2 差分方程的解法
AR过程或ARMA过程可以使用解差分方程的方法解出通项公式。解法如下:
Step 1 解出一个特解,即找出一个使模型过程恒成立的表达式。使用的方法有迭代法、待定系数法等,具体参见参考书第一章5-29页的内容;
Step 2 求齐次式的解,称为齐次解;
齐次式即将所有不包含的项全部去掉:;它的特征方程为。
为特征方程的根,当为实数时,齐次解的形式为:;若特征方程出现重根,以三重根为例,则该根对应的三个齐次解为:、、。
Step 3 通解的形式为特解与齐次解的线性组合之和。
也就是说,AR()过程的通解可以写成如下形式(假设不包含重根):
其中、、...、为任意常数,为特解。
2.3 ARMA平稳的条件
平稳性要求的数学期望为恒定值,观察上述AR()过程的通解形式可知,齐次解只有同时满足以下两个条件时才能收敛,且收敛于0:
的绝对值必须小于1,其实际含义是以前发生的事件对未来发生事件的影响程度是随着时间间隔的增加而递减的;
趋于无穷,其实际含义是时间序列数据对应事件的起点已经过去了较长时间。
以上只是针对特征方程的根均为实根且无重根的讨论。当有重实根时,上述表述仍然成立;当存在虚根时,对根的要求是位于单位圆内,这一表述也适用于实根,因此是更一般的表述:记根的形式:,其中为虚数单位,当 = 0时根为实数,则要保证。
由于齐次解必须为0,则ARMA模型平稳的条件进一步转换为AR过程的特解形式是平稳的。AR过程的特解形式如下:
其中,为待定系数。
将上式代入ARMA模型的表达式中,即可解出的值,也就是解如下差分方程:
上式实际上与AR过程的齐次式相同,也就是说序列{}也必然收敛,从而为有限值。
下面检验的平稳性:
因为{}是白噪音序列,均值是0,所以E() = ,为有限的恒定值;
var() = E = ,为有限的恒定值;
cov(, ) = ,为仅与时间间隔有关的有限值。
可以看出,除“齐次式特征方程的根都在单位圆内”外,不用再限制其他条件就可使是平稳过程。具体参见参考书第2章45-46页的内容。
总结起来,ARMA(, )过程平稳的条件如下:
特征方程的根都在单位圆内;
若为无穷,对任意都有为有限值。