时间序列模型(三)：MA模型

全文共10000余字，预计阅读时间约20~35分钟 | 满满干货，建议收藏！

１. 引言

在我们的时间序列分析学习过程中，我们已经了解了AR模型，它是ARIMA模型的一部分。然而，要完全掌握ARIMA模型，我们还需要深入理解另一种构成它的模型：MA模型，即移动平均模型。

因此，本篇文章的目标是详细介绍MA模型，使你从零开始学习并逐步掌握它。我们将重新回顾时间序列数据的基本概念，然后深入探讨MA模型，包括其基本定义、特性、参数估计方法和应用。

希望你通过阅读此文，能够对MA模型有深入的理解，并能够在实际问题中正确应用这个模型。只有深入理解了AR和MA模型，我们才能真正开始理解ARIMA模型。

２. 时间序列数据的概念

在我们深入探讨AR模型之前，我们首先需要理解时间序列数据的基本概念。在我之前的一篇文章"时间序列模型(一)：时序的相关概念"中，我详细介绍了这个主题。这篇文章涵盖了以下主要内容：

1. 时间序列数据的概念和种类：理解什么是时间序列数据，并学习到关于单变量和多变量时间序列数据的区别。
2. 时序模型与机器学习：比较了时间序列分析和传统的机器学习方法在处理时序数据时的异同，并指出了机器学习在建模时序数据时可能遇到的问题。
3. 时序建模规范：学习到如何划分训练集和测试集，以及不同的时序模型训练方式，包括单步预测、多步预测，以及逐点预测与分布预测。
4. 时序任务分类：本部分介绍了两种主要的时序任务：预测（Forecasting）和时间监督（Time Supervision）。
5. 时序算法总结：这一部分对时序分析中的主要算法进行了总结。

同时，如果您没读过时间序列模型(二)：AR模型，也建议您花一点点时间阅读一下，因为理解这些基础知识对于深入理解MA模型非常重要。

３. MA模型的基本概念

移动平均模型（MA模型）是时间序列分析中的一种模型，它描述的是当前时间点的数据与过去噪声的关系。严格定义上来讲：其模型的定义是基于白噪声序列的假设。白噪声是一种特殊的时间序列模型，每个时间点的数据都是独立且服从相同分布的，且具有常数的均值和方差。给定一个白噪声序列${ϵ}_t$，MA模型定义为：

$$Y_t=\mu +{ϵ}_t+{\theta }_1{ϵ}_{t-1}+{\theta }_2{ϵ}_{t-2}+\cdots +{\theta }_q{ϵ}_{t-q}$$

这一公式被称之为是q阶的移动平均模型，写作MA(q),其中，

• $Y_t$是我们感兴趣的时间序列，在时间点t的观察值。

• μ 是时间序列的均值或期望值，这个值对所有的时间点都是相同的。在许多实际的时间序列分析中，我们假设时间序列已经通过某种方式（例如，通过差分或去趋势）转换为均值为零的序列。但在完整的MA模型中，这个均值项μ是存在的

• ${ϵ}_t$, ${ϵ}_{(}t-1)$, ${ϵ}_{(}t-2)$, …,${ϵ}_{(}t-q)$: 这些是所谓的白噪声项，每个时间点的值都是独立同分布的，通常假设为正态分布。这些项的均值为0，方差为σ²（一个常数）。${ϵ}_t$是当前时刻的白噪声，${ϵ}_{(}t-1)$是上一时刻的白噪声，依此类推，${ϵ}_{(}t-q)$是q个时刻前的白噪声。

• ${\theta }_1$, ${\theta }_2$, …, ${\theta }_q$: 这些是MA模型的参数，每个参数θ都对应于一个白噪声项。它们衡量的是对应的白噪声对当前时间点的影响程度。

• q 是阶数，表示有多少个过去的白噪声项被纳入模型，指的是在模型中包含的过去白噪声项的数量。例如，如果q=2，那么模型就包含了${ϵ}_{(}t-1)$和${ϵ}_{(}t-2)$两个白噪声项。

这个公式的含义是：在时间点t，观察到的值$Y_t$是由过去q个时间点的白噪声的线性组合加上一个常数（即均值μ）和当前时间点的白噪声决定的。各个白噪声项的权重由参数θ决定。

通俗理解一下：移动平均模型的思想是，我们可以把一个时间序列看作是过去若干期噪声的加权平均，即当前的观察值是由过去的白噪声通过一定的线性组合得到的。

从定义上来看：MA模型是不同于AR模型的时序模型。MA模型的基本思想和基本假设与AR模型大不相同。MA模型的基本思想是：大部分时候时间序列应当是相对稳定的。在稳定的基础上，每个时间点上的标签值受过去一段时间内、不可预料的各种偶然事件影响而波动。即在一段时间内，时间序列应该是围绕着某个均值上下波动的序列，时间点上的标签值会围绕着某个均值移动，因此模型才被称为“移动平均模型 Moving Average Model”

解释一下上述这段定义：

• 均值稳定：时间序列的均值或期望值是恒定的，不随时间变化。这就是公式中的μ项，它对所有时间点都是相同的。这也是为什么会说“时间序列应该是围绕着某个均值上下波动的序列”。在许多实际的时间序列分析中，我们可能需要通过一些预处理步骤（如差分或去趋势）将原始时间序列转换为均值稳定的序列。

• 方差稳定：时间序列的方差也是恒定的，不随时间变化。换句话说，时间序列的波动程度是一致的，不会在不同的时间点表现出明显的扩大或缩小。在MA模型中，这个特性主要由白噪声项${ϵ}_t$来保证，因为白噪声的方差是常数。

• 无自相关：在理想的MA模型中，不同时间点的观察值之间没有自相关性。这意味着过去的值不能用来预测未来的值，除非你考虑到了白噪声项。这就是为什么会说“每个时间点上的标签值受过去一段时间内、不可预料的各种偶然事件影响而波动”。

使用Python生成MA模型的例子：

import numpy as np
import matplotlib.pyplot as plt

# 设置随机数种子以便结果可复现
np.random.seed(0)

# 生成长度为1000的白噪声序列
Z = np.random.normal(size=1000)

# 初始化MA模型的参数
theta = [0.6, 0.4]

# 初始化X
X = np.zeros_like(Z)

# 使用MA(2)模型生成X
for t in range(2, len(Z)):
    X[t] = Z[t] + theta[0]*Z[t-1] + theta[1]*Z[t-2]

# 绘制模拟的时间序列数据
plt.figure(figsize=(14, 6))
plt.plot(X)
plt.title("A Simulated MA(2) Time Series")
plt.show()

在这个例子中，我们创建了一个MA(2)模型，它使用过去两期的白噪声（通过$ϵ[t-1]$和$ϵ[t-2]$表示）来生成当前的时间序列数据。这个模型的参数（theta）定义了过去的白噪声对当前时间序列数据的影响程度。生成的图形展示了一个典型的MA(2)模型的时间序列数据。

4. 正确理解AR模型和MA模型的区别

看到这里很多朋友应该也会困惑，AR和MA好像没什么区别啊，我们来看：

$$AR模型：Y_t=c+{\phi }_1{Y}_{t-1}+{\phi }_2{Y}_{t-2}+...+{\phi }_p{Y}_{t-p}+{\xi }_t$$
$$MA模型：Y_t=\mu +{ϵ}_t+{\theta }_1{ϵ}_{t-1}+{\theta }_2{ϵ}_{t-2}+\cdots +{\theta }_q{ϵ}_{t-q}$$

乍一看基本是一样，那么我们解读一下：

AR（自回归）模型和MA（移动平均）模型虽然在形式上看起来很相似，但是他们的关键区别在于他们对过去信息的处理方式。对于自回归（AR）模型来说：在这种模型中，当前值是过去值的函数。也就是说，我们是在使用过去的"实际"观察值来预测现在的值。AR模型的基本思想是过去的观测值会对未来的观测值产生影响，即未来的观测值是过去观测值的加权和。对MA模型来说：在这种模型中，当前值是过去噪声（或称之为误差或冲击）的函数。这里的“白噪声”实际上是模型无法解释的随机部分，是未能被模型捕获的信息。换句话说，MA模型是在试图用过去的"错误"或"冲击"来预测现在的值。

所以，虽然AR和MA模型在数学形式上看起来相似，但他们的实质是不同的：AR模型是使用过去的实际值进行预测，而MA模型是使用过去的预测误差进行预测。即在实际计算时，MA模型规定$ϵ$等同于模型的预测值${\hat{Y}}_t$与真实标签$Y_t$之间的差值（Residuals），即：

$${ϵ}_t=Y_t-{\hat{Y}}_t$$

MA模型使用预测标签与真实标签之间的差异就来代表“无法被预料、无法被估计、无法被模型捕捉的偶然事件的影响”。MA模型相信这些影响累加起来共同影响下一个时间点的标签值，因此$Y_t$等于所有$ϵ$的线性组合（加权求和）。

在公式中，不同的系数$\theta$乘在每一个时间点的差值之前，表示不同时间点发生的各种偶然事件(白噪声)对真实标签值所产生的影响不同，${ϵ}_t$的前面没有需要求解的系数（即默认系数为1），这可能代表当前的“偶然事件”对${ϵ}_t$的标签的影响程度是100%。

5. MA模型的前提假设

移动平均模型（MA）的基本假设可以从以下几个方面来理解：

1. 平稳性：MA模型假设时间序列是平稳的。这意味着序列的主要统计属性，如均值和方差，不随时间变化。这个假设强调了序列在长期内保持稳定的行为，而在短期内可能会受到随机因素的影响。

2. 白噪声：MA模型假设存在一个白噪声序列。白噪声是随机误差项，它的均值为0，方差为常数，且各个时间点上的值是相互独立的。这个假设强调了在一段较短的时间内，时间序列的波动可能受到不可预测的随机因素的影响。

3. 线性：MA模型假设时间序列可以被过去的白噪声项的线性组合表示。这就是模型被称为“移动平均”模型的原因，因为它的预测值是过去白噪声的加权平均。

4. 有限历史影响：MA模型假设只有过去的q个白噪声才对当前时间点的值有影响，其中q是模型的阶数。换句话说，过去更久的白噪声对当前值没有直接影响。

5. 标签值的关联性与白噪声的独立性：MA模型假设不同时间点的标签值之间是关联的，这反映了历史标签影响时间序列的长期趋势。而偶然事件在不同时间点上产生的影响（即白噪声）是相互独立的，这反映了在短期内，时间序列的波动可能受到不可预测的随机因素的影响。

举个例子：影响明日会不会下雨的真正因素并不是“今天”或“昨天”这些时间概念本身，而是风、云、日照等更加客观和科学的因素（这些其实就是MA模型认为的“偶然因素”）。不过也能够理解，随着季节的变化、时间自有自己的周期，因此天气也会存在季节性的周期，因此从长期来看时间序列的趋势是恒定的。

6. MA模型的建模流程

对于一个MA(q)模型，其形式表示为：

$$Y_t=\mu +{ϵ}_t+{\theta }_1{ϵ}_{t-1}+{\theta }_2{ϵ}_{t-2}+\cdots +{\theta }_q{ϵ}_{t-q}$$

我们可以分别讨论训练和预测阶段：

MA(q)模型在时间区间[0,t]上进行训练，在时间区间[t+1,t+m]上进行预测，$t$为现在的时间点，则有：

1. 训练求解 $\theta$：

在训练阶段，我们需要估计参数$\theta$和白噪声序列$ϵ$。这是一个复杂的过程，因为白噪声项是未知的。一般来说，我们可以通过最大似然估计等方法来估计这些参数。参数估计完毕后，我们可以得到模型的残差，它将作为未来预测的一部分。
$$\begin{gathered} Y_1=\mu +{ϵ}_1+{\theta }_1{ϵ}_0+{\theta }_2{ϵ}_{-1}+...+{\theta }_q{ϵ}_{(1-q)} \\ {Y}_2=\mu +{ϵ}_2+{\theta }_1{ϵ}_1+{\theta }_2{ϵ}_0+...+{\theta }_q{ϵ}_{(2-q)} \\ {Y}_3=\mu +{ϵ}_3+{\theta }_1{ϵ}_2+{\theta }_2{ϵ}_1+...+{\theta }_q{ϵ}_{(3-q)} \\ ... \\ {Y}_t=\mu +{ϵ}_t+{\theta }_1{ϵ}_{(t-1)}+{\theta }_2{ϵ}_{(t-2)}+...+{\theta }_q{ϵ}_{(t-q)} \end{gathered}$$

2. 测试求解 {$Y_{t+1},Y_{t+2},\cdots ,Y_{t+m}$}：

对于预测阶段，我们需要知道过去的白噪声序列。然而，这些白噪声项通常是未知的，所以我们通常用训练阶段估计出的残差作为过去的白噪声来进行预测。预测公式如下：

$$\begin{gathered} {\hat{Y}}_{(t+1)}=\mu +{\theta }_1{ϵ}_t+{\theta }_2{ϵ}_{(t-1)}+...+{\theta }_q{ϵ}_{(t+1-q)} \\ {\hat{Y}}_{(t+2)}=\mu +{\theta }_1{ϵ}_{(t+1)}+{\theta }_2{ϵ}_t+...+{\theta }_q{ϵ}_{(t+2-q)} \\ {\hat{Y}}_{(t+3)}=\mu +{\theta }_1{ϵ}_{(t+2)}+{\theta }_2{ϵ}_{(t+1)}+...+{\theta }_q{ϵ}_{(t+3-q)} \\ ... \\ {\hat{Y}}_{(t+m)}=\mu +{\theta }_1{ϵ}_{(t+m-1)}+{\theta }_2{ϵ}_{(t+m-2)}+...+{\theta }_q{ϵ}_{(t+m-q)} \end{gathered}$$

需要解释的一点：看过之前AR模型文章的朋友可能会发现，AR模型的测试求解阶段中有$\hat{Y}$，但是MA中没有呢？

在AR模型中，我们试图预测的值（${\hat{Y}}_{t+1},{\hat{Y}}_{t+2},...$）是由过去的观测值（$Y_t,Y_{t-1},...$）以及过去的预测值（${\hat{Y}}_t,{\hat{Y}}_{t-1},...$）共同决定的。因为AR模型假设当前值是过去的观测值的函数，所以当我们预测未来时，我们必须使用过去的预测值。这就是为什么在AR模型的预测公式中，你看到了$\hat{Y}$。

而在MA模型中，我们试图预测的值（$Y_{t+1},Y_{t+2},...$）是由过去的误差项（${ϵ}_t,{ϵ}_{t-1},...$）决定的，而不是过去的观测值或预测值。这就是为什么在MA模型的预测公式中，你没有看到$\hat{Y}$。

换句话说，AR模型中的预测是基于过去的观测值和预测值，而MA模型中的预测则是基于过去的误差项。这也是为什么AR模型和MA模型会有不同的预测公式。

让我们以MA(3)模型为例，我们要预测从时间 t+1 开始的未来四个时刻的值（即预测 t+1, t+2, t+3 和 t+4 时刻的值）：

预测的时刻	使用的真实误差项	使用的预测误差项
t+1	${ϵ}_t,{ϵ}_{t-1},{ϵ}_{t-2}$	-
t+2	${ϵ}_t,{ϵ}_{t-1}$	${ϵ}_{t+1}$
t+3	${ϵ}_t$	${ϵ}_{t+1},{ϵ}_{t+2}$
t+4	-	${ϵ}_{t+1},{ϵ}_{t+2},{ϵ}_{t+3}$

在MA模型中，我们使用过去的误差项（$ϵ$）来预测未来的值。然而，真实的误差项是未知的，所以在实际预测中，我们使用过去的预测误差项。比如，对于t+2时刻的预测，我们使用的是t时刻和t-1时刻的真实误差项，以及t+1时刻的预测误差项。

需要注意的是，这种方式主要是为了解释模型的原理，但在实际应用中，MA模型的预测误差项是未知的，因此需要通过复杂的方法估计。这也是为什么在实际应用中，我们通常使用ARMA（自回归移动平均）模型或者ARIMA（自回归整合移动平均）模型，因为这些模型可以更好地处理这种问题。

7. 如何求解$ϵ$和$\theta$

对于移动平均模型（MA），需要一次性求解出所有的$\theta$，这部分是在模型训练时完成的。但对于误差项$ϵ$，情况稍微复杂一些。在模型训练时，实际上是通过最小化残差（也就是观察值和模型预测值之间的差异）的方式来进行的。这就意味着，训练过程实际上就是在估算出一系列的$ϵ$，使得预测值与观察值之间的差异最小。然而，对于预测阶段，$ϵ$是未知的。通常，我们会假设在时间序列的未来部分，$ϵ$是零。然后，我们就能够使用我们的MA模型（及其估计出的$\theta$参数）来进行预测。

在模型训练阶段，模型试图在给定观测数据的情况下，找出使模型误差最小的$\theta$参数。在这个过程中，我们可以把$ϵ$看作是模型无法解释的部分，即模型的残差。模型训练阶段的目标就是找到一组$\theta$参数，使得这些残差（即$ϵ$）尽可能的小。

然后，当模型训练完成，我们获得了$\theta$参数后，我们就可以用这个模型去预测未来的数据。但是，因为$ϵ$是白噪声，也就是随机误差，所以在预测阶段我们无法准确知道未来的$ϵ$是什么。我们只能假设未来的$ϵ$的期望为0，因为这是白噪声的性质。

简单来说，$\theta$是我们在训练阶段通过历史数据估计出来的，是模型的固定参数。$ϵ$是模型的随机部分，在训练阶段我们可以计算其值，但在预测阶段，我们只能假设其期望值为0。

在MA(1)模型中，我们有这样的公式：

$$Y_t=\mu +{ϵ}_t+\theta {ϵ}_{t-1}$$

在这里，$\mu$是常数项，${ϵ}_t$是在时间$t$的白噪声误差项，${ϵ}_{t-1}$是在时间$t-1$的白噪声误差项。

因为${ϵ}_t$是白噪声序列，所以它们是不可预测的。但是，一旦我们有了数据$Y_t$，我们可以使用这个公式来解出${ϵ}_t$，如下：

$${ϵ}_t=Y_t-\mu -\theta {ϵ}_{t-1}$$

然后，我们可以使用这个新解出的${ϵ}_t$来计算下一个时刻的$Y_{t+1}$：

$$Y_{t+1}=\mu +{ϵ}_{t+1}+\theta {ϵ}_t$$

这是一个递归的过程。一旦我们知道了模型的参数$\mu$和$\theta$，我们就可以从时间$t=1$开始，通过不断地解出${ϵ}_t$和$Y_{t+1}$来进行预测。

需要注意的是，为了启动这个过程，我们需要知道初始的${ϵ}_0$。在实践中，我们通常假设${ϵ}_0=0$，或者使用前一段时间的平均$Y$值作为${ϵ}_0$。

而对于$\mu$和$\theta$，我们需要使用历史数据进行参数估计，常用的方法包括极大似然估计等。

8. 结语

在这篇文章中，我们对移动平均模型（MA）进行了详细的探讨，这是理解和掌握时间序列分析的关键环节。我们首先对时间序列数据的概念进行了回顾，然后介绍了MA模型的基本概念和前提假设。此外，我们还详细阐述了MA模型与AR模型的主要区别，明确了MA模型的建模过程和参数求解方法。希望这篇文章能够帮助你更深入地理解MA模型，为你进一步学习时间序列分析奠定坚实的基础。

最后，感谢您阅读这篇文章！如果您觉得有所收获，别忘了点赞、收藏并关注我，这是我持续创作的动力。您有任何问题或建议，都可以在评论区留言，我会尽力回答并接受您的反馈。如果您希望了解某个特定主题，也欢迎告诉我，我会乐于创作与之相关的文章。谢谢您的支持，期待与您共同成长！

期待与您在未来的学习中共同成长。