ARIMA（待续。。。）

ARIMA

标签（空格分隔）： 时间序列

---

1. 理论

1.0 基本概念

• 随机变量序列$\{Y_t: t = 0, \pm 1,\pm 2...\}$称为一个随机过程
• 自协方差函数:$\gamma_{t,s} = Cov(Y_t,Y_s)$
• 自相关函数：$\rho_{t,s}=\frac{\gamma_{t,s}}{\sqrt{\gamma_{t,t}\gamma_{s,s}}}$

1.1 平稳（ARMA）

  最重要的假设即平稳性

• 平稳性的基本思想: 决定过程特性的统计规律不随着时间的变化而变化， 从一定意义上来说，过程位于统计的平衡点上。

• 严平稳： 对一切的时滞k 和 时间点$t_{1}$,… $t_{n}$,都有 $Y_{t_{1}}$,…${Y_{t_{n}}}$ 与 $Y_{t_{1} - k}$,…$Y_{t_{n} - k}$的联合分布相同

• 弱平稳： （1）均值函数在所有时间上恒为常数
       (2) ${\gamma}$$_{t,t-k}$ = ${\gamma}$$_{0,k}$,对所有的时间t和时滞k

  在本文中，每当单独提及平稳概念时，通常指的都是弱平稳

• 对于平稳过程，自协方差函数$\gamma_{t,s}=\gamma_{t,s}=\gamma_{0,|t-s|}$， 只与时间间隔$|t-s|$有关，而与实际时刻无关，因此，简记为：$\gamma_k = \gamma_{{t},{t-k}}$, $\rho_k = \rho_{t,t-k}$

1.1.1 一般线性过程

  一般线性过程{$Y_{t}$}可以表示成现在和过去白噪声变量的加权线性组合：

$$Y_{t} = e_{t} + \psi_1 e_{t-1} + \psi_2 e_{t-2} + ...$$

1.1.2 MA(moving average)

  当有限个系数$\psi$不为0的时候，得到滑动平均过程（滑动权数至$e_{t+1}$,$e_{t}$,…$e_{t-q+1}$得到$Y_{t+1}$）。此时，稍微改变符号，写成：

$$Y_{t} = e_{t} - \theta_1 e_{t-1} - \theta_2 e_{t-2} - ... - \theta_q e_{t-q}$$
称为 $q$阶滑动平均过程，简记为$MA(q)$.

1.1.2.1 一般MA（q）过程

  对于一般的$MA(q)$过程：$Y_{t} = e_{t} - \theta_1 e_{t-1} - \theta_2 e_{t-2} - ... - \theta_q e_{t-q}$
可计算得到：

$$\gamma_0=(1+ \theta_1^2 + \theta_2^2 + ... + \theta_k^2 )$$
$$\gamma_k = (-\theta_k + \theta_1\theta_{k+1} + \theta_2\theta_{k+2} + ... + \theta_{q-k}\theta_{q})$$

$\rho_{k}$ =

$$\begin{array}{cc} \frac{-\theta_k + \theta_1\theta_{k+1} + \theta_2\theta_{k+2} + … + \theta_{q-k}\theta_{q}}{1+ \theta_1^2 + \theta_2^2 + … + \theta_k^2} & k = 1,2,…,q\\ 0 & k > q\ \end{array}$$

1.1.3 AR(Autoregressive)

  假定$Y_{t}$的当前值是自身最近p阶滞后项和新息项$e_t$的线性组合(我们总是可以在方程中用$Y_{t} -u$代替$Y_t$,引入非零均值）,可得到自回归过程，写成：

$$\begin{equation} Y_{t} = \phi_1 Y_{t-1} + \phi_2 Y_{t-2} + ... + \phi_p Y_{t-p} + e_{t} \end{equation}$$
称为 $p$阶自回归过程，记为$AR(p)$;
  其中 $e_{t}$包含了序列在 $t$期，无法用过去值来解释的所有新信息，因此，假设$e_{t}$独立于 $Y_{t-1},Y_{t-2},...$。

1.1.3.0 AR平稳性

  上式可用滞后算子表示为：

$$\begin{equation} (1 - \phi_1 L^{1} - \phi_2 L^{2} -... - \phi_p L^{p})x_t = \Phi(L)x_t = e_t \end{equation}$$
其中， $\Phi(L) = (1 - \phi_1 L^{1} - \phi_2 L^{2} -... - \phi_p L^{p})$称为AR算子或特征多项式
  对于AR(P), 如果特征方程：
$$\begin{equation} \Phi(L) = 0 \end{equation}$$
的所有跟的绝对值都大于1，则该过程是一个平稳过程。

1.1.4 ARMA

  假定序列中的部分是自回归，部分是滑动平均，可以得到自回归滑动平均模型：

$$\begin{equation} Y_t = \phi_1 Y_{t-1} + \phi_2 Y_{t-2} + ... + \phi_3 Y_{t-3} + e_t - \theta_1 e_{t-1} - \theta_2 e_{t-2} - ... - \theta_q e_{t-q} \end{equation}$$
称{ $Y_t$}为自回归滑动平均混合过程，简记为 $ARMA（p,q)$.

1.2 非平稳（ARIMA)

  具有时变均值的任何时间序列都是非平稳的，eg：

$$\begin{equation} Y_t = \mu_t + X_t \end{equation}$$
的模型（其中 $\mu_t$ 是时变均值函数， $X_t$是零均值平稳序列）

1.2.1 ARIMA

  如果一个时间序列{$Y_t$}的d次差分$W_t = \nabla^d Y_t$是一个平稳的$ARMA$过程，服从$ARMA(p,q)$模型，我们称$\{Y_t \}$是$ARIMA(p,d,q)$过程。实际上，通常取$d=1$或最多为2.

1.3 季节性

1.3.1 季节ARMA模型

  季节周期为s的Q阶季节$MA(Q)$模型如下：

$$\begin{equation} Y_t = e_t - \Theta_1 e_{t-s} - \Theta_2 e_{t-2s} - ... - \Theta_Q e_{t-Qs} \end{equation}$$
其季节 $MA$特征多项式如下：
$$\begin{equation} \Theta (x) = 1 - \Theta_1 x^s - \Theta_2 x^{2s} - ... - \Theta_Q x^{Qs} \end{equation}$$
显然，该序列总是平稳的，且其自相关函数只在 $s, 2s, ... , Qs$等季节滞后上非零，特别的：
$$\begin{equation} \rho_{ks} = \frac{- \Theta_k + \Theta_1 \Theta_{k+1} + ... + \Theta_{Q-k} \Theta_{Q}}{1 + \Theta_1 ^2 + ... + \Theta_Q ^2} , k = 1,2,...,Q \end{equation}$$

  季节周期为s的P阶季节$AR(P)$模型如下：

$$\begin{equation} Y_t = \Phi_1 Y_{t-1} + \Phi_2 Y_{t-2s} + ... + \Phi_p Y_{t-Ps} + e_t \end{equation}$$
其季节特征多项式为：
$$\begin{equation} \Phi(x) = 1 - \Phi_1 x^s - \Phi_2 x^{2s} - \Phi_P x^{Ps} \end{equation}$$
通常要求 $e_t$独立于 $Y_{t-1},Y_{t-2},...,$而且为了保证平稳性，要求特征方程 $\Phi (x) = 0$的所有根的绝对值都大于1。

1.3.2 乘法季节ARMA

  可以构造一类模型，它们不仅在季节滞后上包含相关性，而且在邻近序列值的更小滞后上依然包含相关性。eg:考虑一个$MA$模型，其特征多项式如下：

$$(1- \theta x)(1 - \Theta x^{12})$$
展开后得到 $1 - \theta x - \Theta x^{12} + \theta \Theta x^{13}$.因此相应的时间序列满足下式：
$Y_t = e_{t} - \theta e_{t-1} - \Theta e_{t-12} + \theta \Theta e_{t-13}$

  一般定义季节周期为$s$的乘法季节$ARMA(p,q)(P,Q)_s$模型是$AR$特征多项式为$\phi(x)\Phi(x)$、$MA$特征多项式为$\theta (x) \Theta (x)$的模型，其中：

$$\begin{array}\ \phi(x) = 1 - \phi_1 x - \phi_2 x^2 - … - \phi_p x^p\\ \Phi(x) = 1 - \Phi_1 x - \Phi_2 x^{2s} - … - \Phi_p x^{Ps} \end{array}$$
$\theta (x)$和 $\Theta (x)$同理。
eg：假设 $P= q= 1,p = Q = 0$且 $s = 12$,则模型为：
$$\begin{equation} Y_t = \Phi Y_{t-12} + e_t - \theta e_{t-1} \end{equation}$$

1.3.3 乘法季节ARIMA

  考虑如下的时间序列${Y_t}$:

$$\begin{equation} Y_{t} = M_t + S_t + e_t \end{equation}$$

其中：

$$\begin{equation} S_t = S_{t-s} + \varepsilon_t \end{equation}$$

$$\begin{equation} M_t = M_{t-1} + \xi_t \end{equation}$$
其中{ $e_t$},{ $\varepsilon_t$}和{ $\xi_t$}是相互独立的白噪声序列。这里将同时应用季节差分和普通的非季节查分来得到：
$$\begin{equation} \begin{split} \triangledown \triangledown_s Y_t &= \triangledown(M_t - M_{t-1} + \varepsilon_t + e_t + e_{t-s})\\ &= (\xi_t + \varepsilon_t + e_t) - (\varepsilon_{t-1} + e_{t-1}) - (\xi_{t-s} + e_{t-s}) + e_{t-s-1} \end{split} \end{equation}$$
这里所定义的过程是平稳的，且只在1,s-1,s和s + 1等滞后上有非零相关性，这同季节周期为s的乘法季节模型 $ARMA(0,1)\times (0,1)$的相关结构一致。

  过程$\{Y_t\}$称为季节周期为$s$、非季节阶数为$p,d$和$q$,季节阶数为$P,D$和$Q$的乘法季节ARMA模型,前提是差分序列

$$\begin{equation} W_t = \triangledown^d \triangledown^{D}_{s}Y_{t} \end{equation}$$
满足某季节周期为$s$的$ARMA(p,q)\times(P,Q)$模型。$\{Y_t\}$称为季节周期为$s$的$ARIMA(p,d,q)\times(P,D,Q)_s$模型。
  经验证明，这些模型足够拟合许多序列，通常模型也只要用三四个那样很少的几个参数。

2. R中的应用