自回归模型（AR）、移动平均模型（MA）、自回归移动平均模型（ARMA）以及差分自回归移动平均模型（ARIMA）辨析

短期预测是时间序列分析的主要目的。时间序列分析的理论基础很简单：设若时间序列（或随机过程）的任一元素$y_t$与其前期元素（$y_{t-1}、y_{t-2}$等）之间存在着某种关联，则我们可以根据该时间序列的既往观测值来预测其在未来的取值。

上述思路的直接体现便是自回归模型。所谓p阶自回归过程（AutoRegressive, AR），简记为AR（p)，指的是如下形式的随机过程：

$y_t=a_1y_{t-1}+a_2y_{t-2}+...+a_py_{t-p}+u_t$

其中的$a_1、a_2、...、a_p$是p个待求参数；p是滞后期限的数目；$u_t$为白噪声，也就是满足经典计量经济模型的随机误差项。

一般地，经济系统当中任何经济变量的时间序列都可以上述自回归过程来描述。但在模型分析的实践中，为简化估计参数的工作量，我们当然希望模型当中的参数尽可能地少。于是便有了引进移动平均过程MA（q）的必要。

考虑如下形式的（无穷阶）自回归过程：

$y_t=ay_{t-1}+a^2y_{t-2}+...+a^py_{t-p}+...+u_t$

将其时间推迟一期，有：

$y_{t-1}=ay_{t-2}+a^2y_{t-3}+....+a^py_{t-p-1}+u_{t-1}$

将上式两侧的每一项同乘以a，然后与该自回归过程的原始表达式相减，得到（这个地方计算有没有问题？我怎么计算不出来）：

$y_t=u_t-au_{t-1}$

我们就把这种由白噪声序列诸元素的加权和所表示的随机过程，称作移动平均过程(moving average process MA)。其中的参数数目就是该移动平均过程的阶数。例如，上式就是一个一阶移动平均过程，简记为MA（1）。

一般地，q阶移动平均过程MA（q）就是如下形式的随机过程：

$y_t=u_t-(b_1u_{t-1})-(b_2u_{t-2})-(b_3u_{t-3})-...-(b_qu_{t-q})$

由此可见，移动平均过程可由自回归过程推衍而得。我们可以证明：一个平稳有限阶自回归过程必定可以转化成某个无限阶移动平均过程。反之，当某些条件（称之为可转换条件）具备的时候，一个有限阶移动平均过程也可以转换成某个无限阶自回归过程。于是，我们便可以将阶数较高的自回归过程近似地用阶数较低的移动平均过程来代替；反之，亦然。

那么，对于一个给定的时间序列样本，如何才能以最少的待估参数，给出产生这一样本的随机过程呢？

一般说来，设若时间序列的自相关函数有截断点，即当阶数大于某个数值的时候，其自相关系数开始等于零，但其偏自相关系数却只是伴随着阶数的增大而逐渐减小，并无截断点，这时采取移动平均过程比较经济（亦即模型当中所包含的的参数较少）。

设若时间序列的自相关函数只是伴随着阶数的增加而逐渐衰减，并无截断点，但其偏自相关函数却有截断点，这时宜采用自回归过程。

设若时间序列的自相关函数和偏自相关函数都只是伴随着阶数的增加而逐渐衰减，但均无截断点，则无论是采用自回归模型还是采用移动平均模型，其中所包含的的待估参数都过多。这时，宜采用自回归移动平均过程ARMA（p,q）。

所谓的自回归移动平均模型(Autoregressive Moving Average,ARMA)，就是设法将自回归过程AR和移动平均过程MA结合起来，共同模拟产生既有时间序列样本数据的那个随机过程的模型。

在数学上，我们总可以将一个高阶AR过程分解成某个低阶AR过程和另一个高阶AR过程之和。设若将其中所分解出来的那个高阶AR过程用一个较低阶的MA过程来替代，则那个真实的随机过程也就由低阶AR过程和高阶AR过程之和，变换成低阶AR过程与低阶MA过程之和。这就是自回归移动平均模型的基本思路。

可见，ARMA（p,q）是一种比AR(p）和MA(q)更具普遍性的模型。而AR(p）模型和MA(q)模型可分别理解为ARMA模型的两个特例(ARMA（P,0)和ARMA(0,q))。实践中的任何时间序列都可以使用ARMA（p,q）这个模型来模拟。而且实践经验表明，p的q的取值一般都不会超过2。

需要指出的是，AR(p)、MA(q)和ARMA(p,q)都是平稳随机过程。但在经济计量的实践中，我们所获得的时间序列经常会呈现出系统性地上升或下降等趋势。有些时间序列还呈现出周而复始的周期性波动。这样的时间序列肯定产生于非平稳的随机过程，从而不可以直接套用诸如AR(p)、MA(q)或ARMA(p,q)之类的平稳随机过程来模拟。

对于非平稳的时间序列，首先应将其平稳化。其中，差分变换是最常用的平稳化方法。然后再使用 AR(p)、MA(q)或ARMA(p,q)来模拟已平稳化的随机过程。这就是所谓的差分自回归移动平均模型(Autoregressive Integrated Moving Average Model），简记为ARIMA(p,d,q)。其中的d是实施差分变换的次数。

由此可见，ARIMA（p,d,q）是一种比ARMA（p,q）更为普遍性的模型。而ARMA（p,q）可理解为ARIMA（p,d,q）的特例(ARIMA（p,0,q）)。

对于一组给定的时间序列数据，依照上述思路寻找一个能产生这组数据的随机过程的ARIMA（p,d,q）模型方法，称为博克斯-詹金斯(Box-Jenkins)方法。它是当今时间序列分析理论与方法的基础。

原文地址：http://lidequan12345.blog.163.com/blog/static/28985036201321074325444/

参考：
滞后算子：https://en.wikipedia.org/wiki/Lag_operator
自回归模型：https://zh.wikipedia.org/wiki/%E8%87%AA%E8%BF%B4%E6%AD%B8%E6%A8%A1%E5%9E%8B
移动平均法：http://wiki.mbalib.com/wiki/%E7%A7%BB%E5%8A%A8%E5%B9%B3%E5%9D%87%E6%A8%A1%E5%9E%8B