时间序列分析教程（四）：AR与MA模型详细分析（公式推导，慎入）

之前从比较浅的角度介绍了AR、MA、ARMA等模型，最近在课堂上发现其实还有很多细节可以深究。如果只是想要简单了解这些模型然后应用，我个人觉得之前的文章已经足够了，而如果有兴趣更深入地了解AR和MA模型，这里会更多地从数学的角度，分析一下它们的表达式、期望方差以及平稳的条件。

首先介绍一下滞后算子（Backward shift operator）和差分算子（difference operator）。对一段时间序列，滞后算子为：
$$B{X}_t=B(X_t)=X_{t-1}$$
进一步定义二阶和三阶滞后算子：
$$B^2{X}_t=X_{t-2}$$
$$B^3{X}_t=X_{t-3}$$
差分算子：
$$▽X_t=X_t-X_{t-1}$$
$${▽}^2{X}_t=(X_t-X_{t-1})-(X_{t-1}-X_{t-2})=X_t-2X_{t-1}+X_{t-2}$$
注意，滞后算子和差分算子存在关系：
$$▽=1-B$$
接下来先分析AR模型，之前介绍过它的公式可以表达为：
$$X_t={\alpha }_0+{\alpha }_1{X}_{t-1}+{\alpha }_2{X}_{t-2}+...+{\alpha }_p{X}_{t-p}+e_t$$
改写alpha_0：
$${\alpha }_0=\mu -{\alpha }_1\mu -{\alpha }_2\mu -...-{\alpha }_p\mu$$
以下就是见证奇迹的时刻了：
$$X_t-{\alpha }_0-{\alpha }_1{X}_{t-1}-{\alpha }_2{X}_{t-2}-...-{\alpha }_p{X}_{t-p}=e_t$$
$$(X_t-\mu )-{\alpha }_1(X_{t-1}-\mu )-{\alpha }_2(X_{t-2}-\mu )-...-{\alpha }_p(X_{t-p}-\mu )=e_t$$

$$\varphi (B)(X_t-\mu )=e_t$$
$$where\varphi (B)=1-{\alpha }_{1}B-{\alpha }_2{B}^2-...-{\alpha }_p{B}^p$$
以上就是引入了滞后算子的AR模型表达式。

基于AR模型的表达式，再看看AR模型的均值和方差，首先来看看一阶AR模型：
$$X_t=\mu +\alpha (X_{t-1}-\mu )+e_t$$
$$X_t=\mu +\alpha (\mu +\alpha (X_{t-2}-\mu )+e_{t-1}-\mu )+e_t$$
$$X_t=\mu +{\alpha }^2(X_{t-2}-\mu )+\alpha e_{t-1}+e_t$$
$$......$$
$$X_t=\mu +{\alpha }^t(X_0-\mu )+\sum _{j=0}^{t-1}{\alpha }^j{e}_{t-j}$$

再看看他们的期望方差：
$$E(X_t)=\mu +{\alpha }^t(E(X_0)-\mu )$$
$$Var(X_t)={\alpha }^{2t}[Var(X_0)-\frac{{\sigma }^2}{1-{\alpha }^2}]+\frac{{\sigma }^2}{1-{\alpha }^2}$$
其中sigma是白噪声的标准差。

具体的推导过程这里为了不引起读者反感就省略了，有兴趣的可以在网上搜索相关资料，接下来，我们就可以通过期望方差公式，引出一阶AR模型平稳的条件：序列长度无穷以及alpha的绝对值小于1，我们可以看一下这种条件下期望和方差的表达式：
$$E(X_t)=\mu$$
$$Var(X_t)=\frac{{\sigma }^2}{1-{\sigma }^2}$$
两者都是常数，满足平稳的条件。因此这就是一阶AR模型的平稳条件。

以上讨论的是一阶AR模型，实际上更高阶的模型是用其他方法判断是否平稳的，万幸的是，我们可以通过一条通用公式（characteristic equation ）对任意阶的AR模型进行判断：
$$\varphi (z)=1-{\alpha }_{1}z-{\alpha }_2{z}^2-...-{\alpha }_p{z}^p=0$$
当方程的所有p个根zj的绝对值都大于1，那么AR模型就是平稳的，也就是说，所有解都落在解平面的单位圆外，当p=1时：
$$\varphi (z)=1-{\alpha }_{1}z=0$$
$$|z|>1\iff |{\alpha }_1|<1$$
这也是之前推导的一阶AR模型的平稳条件。

讨论完AR模型，接下来再看看MA模型，放心，MA模型的内容要简单点，而且能坚持看到这里的人，想必也不会害怕继续推公式的。

首先我们还是引入滞后算子，重新改写一下MA模型的表达式：
$$X_t=\mu +\theta (B)e_t$$
$$\theta (B)=1+{\beta }_{1}B+...+{\beta }_q{B}^q$$
对于MA模型的期望，因为白噪声的期望为0，所以MA模型的期望就是一个常数：
$$E(X_t)=E(\mu )+E(\theta (B)e_t)=\mu$$
MA模型的方差同样也是一个常数：
$$Var(X_t)=Cov(X_t,X_t)={\sigma }^2\sum _{j=0}^q{\beta }_j^2$$
其中，sigma是白噪声的标准差，所以MA模型一定是平稳的。

恭喜你，到这里本文就结束了，向每一个看完本文的人致敬。

在github写的自然语言处理入门教程，持续更新：NLPBeginner

在github写的机器学习入门教程，持续更新：MachineLearningModels

想浏览更多关于数学、机器学习、深度学习的内容，可浏览本人博客