数学建模学习笔记（十）——时间序列模型

一、时间序列综述

时间序列是指某种现象的指标按照时间顺序排列而成的数值序列。

本文主要介绍时间序列分析中常用的三种模型：季节分解、指数平滑方法以及 ARIMA 模型。

二、时间序列数据以及基本概念

1. 时间序列的数据
   时间序列的数据类型主要是对同一对象在不同时间连续观察所得到的数据。例如：某个地方 24 小时内每隔一个小时的温度数据；二胎政策以来每年的人口数量……
2. 时间序列的基本概念
   时间序列主要有两个组成要素构成：
   1. 时间要素
      年、季度、月份、周……
   2. 数值要素
      时间要素对应的数值数据……
3. 时间序列根据时间和数值性质的不同，可以分为时期时间序列和时点时间序列。
   1. 时期时间序列
      顾名思义，时期时间序列的数据要素反应的就是在一定时期内的发展水平……（例如：上文所提到的温度数据就是在每隔一小时后的时间点上测得的数据）
   2. 时点时间序列
      同样，时点时间序列的数据要素反应的就是在一定时点上的瞬间水平……（例如：上文所提到的人口数据就是由一年这一时期中人口变化二测得的数据）

三、时间序列分解

时间序列的数值变化规律一般有以下四种：长期变动趋势、季节变动规律、周期变动规律、不规则变动。一个时间序列往往是以上四类变化形式的叠加。

数值变化规律	字母表示	意义
长期趋势	T	统计指标在相当长的一段时间内，收到长期趋势影响因素的影响，表现出的持续上升或者持续下降的趋势
季节趋势	S	由于季节的转变使得指标数值发生周期性变动（其周期一般以月、季、周为单位，不能以年为单位）
循环变动	C	循环变动的周期往往是若干年，其在曲线图上表现为波浪式的周期变动
不规则变动	I	由某些随机因素导致的数值变化，并且这些因素的作用不可预知且没有规律性

这四种变动与指标数值的关系可能是叠加关系，也可能是乘积关系。

1. 叠加模型和成绩模型

   1. 如果四种变动之间是相互独立的关系，那么可以使用叠加模型：$$Y=T+S+C+I$$
   2. 如果四种变动之间存在相互影响关系，那么可以使用乘积模型：$$Y=T\times S\times C\times I$$

   注意：
   （1）使用时间序列分解的前提是具有年内的周期性（不包括以年份为周期的数据）
   （2）在具体的时间序列图中，如果随着时间的推移，序列的季节波动越来越大，此时应该采用乘积模型；反之，如果时间序列图的波动保持恒定，则应该采用叠加模型
   

2. 下面来看一个例子
   进行时间序列分解的步骤主要有以下几步：
   处理缺失值 $\Rightarrow$ 定义时间变量 $\Rightarrow$ 做出时序图选择模型 $\Rightarrow$ 进行时间序列分解

   在这个例子中，我们可以做出的时序图如下：
   可以看出，第二季度的销量明显高于其他季度，因此数据表现出很强的季节性。同时，销量数据的季节波动变化不大，因此可以使用加法分解模型。

   在 SPSS 中对数据进行季节性分解可得到结果为：
   从表格中可知：第一二季度的季节因子为正，第三四季度的季节因子为负，说明第一二季度的平均销量要高于第三四季度。并且第二季度的平均销量要高于全年平均水平 20.930 件；第四季度的平均销量要低于全年平均水平 19.727 件。

   有意思的是：采用加法模型时，季节因子的和为 0 ；而采用乘法模型时，季节因子的乘积为 1 ，同时，乘法模型的季节因子表示是全年平均销量的倍数。

四、指数平滑模型

1. 简单（Simple）模型

   名称	使用条件	与之类似的ARIMA模型
   简单指数平滑法	不含趋势和季节成分	ARIMA(0, 1, 1)

   令 $x_t$ 为 $t$ 时刻的观测数据，$S_t$ 为第 $t$ 期的平滑值，且令 $S_t={\hat{x}}_{t+1}$，即第 $t+1$ 期的预测值，且满足：${\hat{x}}_{t+1}=\alpha x_t+(1-\alpha )\widehat{x_t}$，因此可以证明：$${\hat{x}}_{t+1}=\alpha x_t+\alpha (1-\alpha )x_{t-1}+\alpha (1-\alpha {)}^2{x}_{t-2}+\cdots +\alpha (1-\alpha {)}^{t-1}{x}_1+(1-\alpha {)}^t{l}_0$$，其中 $l_0={\hat{x}}_1$ 视为初始值，$\alpha$ 为平滑系数 $(0\le \alpha \le 1)$。

   还可以看出，越接近当期的数据，其权重越大，意味着影响也越大；反之，早期数据对当期影响也就越小。

   平滑指数 $\alpha$ 一般是需要我们自己决定的。但是，SPSS 的专家建模器如果采用简单模型帮助我们建模会自动给出 $\alpha$ 的值。
   
   简单（Simple）模型只能往后预测一期数据，原因是公式 ${\hat{x}}_{t+1}=\alpha x_t+(1-\alpha )\widehat{x_t}$ 中使用了本期的准确数据 $x_t$ ，后面的数据只是预测出来的，而不是准确的。
   

2. 线性趋势模型（$lineartrend$）

   名称	使用条件	与之类似的 ARIMA 模型
   特线性趋势模型	线性趋势、不含季节成分	ARIMA(0, 2, 2)

   该方法包含一个预测方程和两个平滑方程：$$\{\begin{array}{rl}& l_t=\alpha x_t+(1-\alpha )(l_{t-1}+b_{t-1})\text{（水平平滑方程）}\\ & b_t=\beta (l_t-l_{t-1})+(1-\beta )b_{t-1}\text{（趋势平滑方程）}\\ & {\hat{x}}_{t+h}=l_t+h{b}_t,h=1,2,\cdots \text{（预测方程）}\end{array}$$
   $t$：当前期
   $h$：预测超前期数，也称之为预测补偿
   $x_t$：第 $t$ 期的实际观测值
   $l_t$：时刻 $t$ 的预估水平
   $b_t$：时刻 $t$ 的预测趋势
   $\alpha$：水平的平滑参数
   $\beta$：趋势的平滑参数

3. 阻尼趋势模型（$Dampedtrend$）

   称	使用条件	与之类似的 ARIMA 模型
   尼趋势模型	线性趋势逐渐减弱且不含季节成分	ARIMA(1, 1, 2)

   $$\{\begin{array}{rl}& l_t=\alpha x_t+(1-\alpha )(l_{t-1}+\varphi b_{t-1})\text{（水平平滑方程）}\\ & b_t=\beta (l_t-l_{t-1})+(1-\beta )\varphi b_{t-1}\text{（趋势平滑方程）}\\ & {\hat{x}}_{t+h}=l_t+(\varphi +{\varphi }^2+\cdots +{\varphi }^h)b_t\text{（预测方程）}\end{array}$$ $\alpha$：水平的平滑参数
   $\beta$：趋势的平滑参数
   $\varphi$：阻尼参数（$0<\varphi \le 1$）
   如果 $\varphi =1$，则阻尼趋势模型就是霍特线性趋势模型。

4. 简单季节性

   简单季节性	使用条件	与之类似的 ARIMA 模型
   单季节性	含有稳定的季节成分、不含趋势	SARIMA(0, 1, 1) × (0, 1, 1)${}_s$

   $$\{\begin{array}{rl}& l_t=\alpha (x_t-s_{t-m})+(1-\alpha )l_{t-1}\text{（水平平滑方程）}\\ & s_t=\gamma (x_t-l_{t-1})+(1-\gamma )s_{t-m}\text{（季节平滑方程）}\\ & {\hat{x}}_{t+h}=l_t+s_{t+h-m(k+1)},k=[\frac{h-1}{m}]\text{（预测方程）}\end{array}$$ $m$：周期长度（月度数据取12，季度数据取4）
   $\alpha$：水平的平滑参数
   $\gamma$：季节的平滑参数
   $h$：预测超前期数
   ${\hat{x}}_{t+h}$：第 $h$ 期的预测值

5. 温特加法模型（$Winte{r}^{\prime }sadditive$）

   称	使用条件	与之类似的 ARIMA 模型
   特加法模型	含有线性趋势和稳定的季节成分	SARIMA(0, 1, 0) × (0, 1, 1)${}_s$

   $$\{\begin{array}{rl}& l_t=\alpha (x_t-s_{t-m})+(1-\alpha )(l_{t-1}+b_{t-1})\text{（水平平滑方程）}\\ & b_t=\beta (l_t-l_{t-1})+(1-\beta )b_{t-1}\\ & s_t=\gamma (x_t-l_{t-1}-b_{t-1})+(1-\gamma )s_{t-m}\text{（季节平滑方程）}\\ & {\hat{x}}_{t+h}=l_t+h{b}_t+s_{t+h-m(k+1)},k=[\frac{h-1}{m}]\text{（预测方程）}\end{array}$$ $m$：周期长度（月度数据取12，季度数据取4）
   $\alpha$：水平的平滑参数
   $\beta$：趋势的平滑参数
   $\gamma$：季节的平滑参数
   ${\hat{x}}_{t+h}$：第 $h$ 期的预测值

6. 温特乘法模型（$Winte{r}^{\prime }smultiplicative$）

   称	使用条件	与之类似的 ARIMA 模型
   特乘法模型	含有线性趋势和不稳定的集结成分	不存在

   $$\{\begin{array}{rl}& l_t=\alpha \frac{x_t}{s_{t-m}}+(1-\alpha )(l_{t-1}+b{t}_1)\text{（水平平滑方程）}\\ & b_t=\beta (l_t-l_{t-1})+(1-\beta )b_{t-1}\text{（趋势平滑方程）}\\ & s_t=\gamma \frac{x_t}{l_{t-1}+b_{t+1}}+(1-\gamma )s_{t-m}\text{（季节平滑方程）}\\ & {\hat{x}}_{t+h}=(l_t+h{b}_t)s_{t+h-m(k+1)},k=[\frac{h-1}{m}]\text{（预测方程）}\end{array}$$ $m$：周期长度（月度数据取12，季度数据取4）
   $\alpha$：水平的平滑参数
   $\beta$：趋势的平滑参数
   $\gamma$：季节的平滑参数
   ${\hat{x}}_{t+h}$：第 $h$ 期的预测值

五、一元时间序列分析的模型

1. 平稳时间序列（$stationaryseries$）
   若时间序列 { x t } \{x_t\} {xt​} 满足下列三个条件：
   （1）$E(x_t)=E(x_{t-s})=u$（均值为固定常数）
   （2）$Var(x_t)=Var(x_{t-s})={\sigma }^2$（方差存在且为常数）
   （3）$Cov(x_t,x_{t-s})={\gamma }_s$（协方差只和间隔 $s$ 有关，与 $t$ 无关）
   则称 { x t } \{x_t\} {xt​} 为协方差平稳，又称为弱平稳。

   如果对于任意的 $t_1,t_2,\cdots ,t_k$ 和 $h$，多维随机变量 $(x_{t_1},x_{t_2},\cdots ,x_{t_k})$ 和 $(x_{t_1+h},x_{t_2+h},\cdots ,x_{t_k}+h)$ 的联合分布相同，则称 { x t } \{x_t\} {xt​} 为严格平稳。

   注：严格平稳的要求太高，因此一般所说的平稳都是弱平稳。

2. 白噪声序列
   若时间序列 { x t } \{x_t\} {xt​} 满足下列三个条件：
   （1）$E(x_t)=E(x_{t-s})=0$（均值为固定常数）
   （2）$Var(x_t)=Var(x_{t-s})={\sigma }^2$（方差存在且为常数）
   （3）$Cov(x_t,x_{t-s})=0(s\ne 0)$（协方差只和间隔 $s$ 有关，与 $t$ 无关）
   则称 { x t } \{x_t\} {xt​} 为白噪声序列。显然，白噪声序列是平稳时间序列的一个特例。

3. 差分方程
   将凑个时间序列变量表示为该变量的滞后项、时间和其他变量的函数，这样一个函数方程称为差分方程。例如：
   $$y_t={\alpha }_0+{\alpha }_1{y}_{t-1}+{\alpha }_2{y}_{t-2}+\cdots +{\alpha }_p{y}_{t-p}+{\epsilon }_t$$（$\epsilon$为白噪声序列）

   1. 差分方程的齐次部分
      只包含该变量自身和它的滞后项的式子。
      例如：$$y_t={\alpha }_0+\sum _{i=1}^p{\alpha }_i{y}_{t-i}+{\epsilon }_t+\sum _{i=1}^q\beta {\epsilon }_{t-i}$$ 齐次部分为：$$y_t=\sum _{i=1}^p\alpha y_{t-i}$$
   2. 差分方程的特征方程
      齐次部分可以被转换为特征方程：令 $y_t=x^t$ 带入齐次方程花间即可。例如：齐次部分：$$y_t=\sum _{i=1}^p\alpha y_{t-i}$$ 那么特征方程为：$$x^p={\alpha }_1{x}^{p-1}+{\alpha }_2+\cdots +{\alpha }_p$$ 特征方程是一个 $p$ 阶多项式，对应可以求出 $p$ 个解。

4. 滞后算子
   用符号 $L$ 表示滞后算子：$L^i{y}_t=y_{t-i}$，且由如下的性质：
   （1）$LC=C$（$C$ 为常数）
   （2）$(L^i+L^j)y_t=y_{t-i}+y_{t-j}$
   （3）$L^i{L}^j{y}_t=y_{t-i-j}$
   例如：$$y_i={\alpha }_0+\sum _{i=1}^p{\alpha }_i{y}_{t-i}+{\epsilon }_t+\sum _{i=1}^q{\beta }_i{\epsilon }_{t-i}$$ 可以表示为：$$y_t={\alpha }_0+\sum _{i=1}^p{\alpha }_i{L}^i{y}_t+{\epsilon }_t+\sum _{i=1}^q{\beta }_i{L}^i{\epsilon }_t$$

六、AR（p）模型

$p$ 阶的自回归模型（AR§模型）：
$$y_t={\alpha }_0+{\alpha }_1{y}_{t-1}+{\alpha }_2{y}_{t-2}+\cdots +{\alpha }_p{y}_{t-p}+{\epsilon }_t$$$\epsilon$ 是方差为 ${\sigma }^2$ 的白噪声序列
（自回归：将自己的 1 至 $p$ 阶滞后项视为自变量来进行回归）

1. 注意
   讨论的AR§模型一定是平稳的时间序列模型，原数据不平稳的话也要先转换为平稳的数据才能进行建模。

2. AR§模型平稳的条件
   将 AR§ 模型的齐次部分转换为特征方程：$$x^p={\alpha }_1{x}_{p-1}+{\alpha }_2{x}_{p-2}+\cdots +{\alpha }_p$$ 特征方程是一个 $p$ 阶多项式，因此可以求出 $p$ 个解（可能有实根，也可能有虚根）

   那么模型的平稳可以这样确定：
   （1）如果这 $p$ 个解的模长均小于1，则 { y t } \{y_t\} {yt​} 平稳，即 AR§ 模型平稳；
   （2）如果这 $p$ 个解中有 $k$ 个解的模场等于1，则 { y t } \{y_t\} {yt​} 为 $k$ 阶单位根过程（$k$ 阶单位根过程可以经过 $k$ 阶差分变为平稳的时间序列）
   （3）如果这 $p$ 个根至少有一个的模长大于1，则 { y t } \{y_t\} {yt​} 称为爆炸过程。

3. 下面来看一个例子
   AR(3) 模型：$$y_t=0.1+0.2y_{t-1}+0.3y_{t-2}+0.5y_{t-3}+{\epsilon }_t$$ 齐次部分的特征方程为：$$x^3=0.2x^2+0.3x+0.5$$ 解得：$x_1=\frac{-4-\sqrt{34}i}{10},x_2=\frac{-4+\sqrt{34}i}{10},x_3=1$
   求模长：$|x_1|=|x_2|=\sqrt{\frac{16}{100}+\frac{34}{100}}=0.7071<1$

   所以 $y_t$ 为一阶单位根过程

   此时可以进行一阶差分变形：$$y_t-y_{t-1}=0.1-0.8(y_{t-1}-y_{t-2})-0.5(y_{t-2}-y_{t-3})+{\epsilon }_t$$ $$\Rightarrow \Delta y_t=0.1-0.8\Delta y_{t-1}-0.5\Delta y_{t-2}+{\epsilon }_t$$（转换成了一个 AR(2) 过程）
   此时齐次方程对应的特征方程：$$x^2=-0.8x-0.5$$ 解得 $x_1=\frac{-4-\sqrt{34}i}{10},x_2=\frac{-4+\sqrt{34}i}{10}$

   对于 AR(p) 模型而言：$$y_t={\alpha }_0+{\alpha }_1{y}_{t-1}+{\alpha }_2{y}_{t-2}+\cdots +{\alpha }_p{y}_{t-p}+{\epsilon }_t$$ （1） { y t } \{y_t\} {yt​} 为单位根的充要条件：$${\alpha }_1+{\alpha }_2+\cdots +{\alpha }_p=1$$ （2） { y t } \{y_t\} {yt​} 平稳的充分条件：$$|{\alpha }_1|+|{\alpha }_2|+\cdots +|{\alpha }_p|<1$$ （3） { y t } \{y_t\} {yt​} 平稳的必要条件：$${\alpha }_1+{\alpha }_2+\cdots +{\alpha }_p<1$$

七、MA（q）模型

$q$ 阶移动平均模型（MA(q)模型）：$$y_t={\epsilon }_t+{\beta }_1{\epsilon }_{t-1}+{\beta }_2{\epsilon }_{t-2}+\cdots +{\beta }_q{\epsilon }_{t-q}$$

1. MA模型和AR模型之间的关系
   MA(1) 模型：$$y_t={\epsilon }_t-{\beta }_1{\epsilon }_{t-1}$$ 将上面的式子使用滞后算子的写法为：$$y_t=(1-{\beta }_{1}L){\epsilon }_t\Rightarrow \frac{1}{1-{\beta }_{1}L}{y}_t={\epsilon }_t$$又因为 $$(1-{\beta }_{1}L)(1+{\beta }_{1}L+{\beta }_1^2{L}^2+\cdots )=(1-{\beta }_{1}L+{\beta }_1^2{L}^2+\cdots )-({\beta }_{1}L+{\beta }_1^2{L}^2+\cdots )=1$$所以 $\frac{1}{1-{\beta }_{1}L}=1+{\beta }_{1}L+{\beta }_1^2{L}^2+\cdots (\text{条件：}|{\beta }_1|<1)$

   则 $\frac{1}{1-{\beta }_{1}L}{y}_t={\epsilon }_t\Rightarrow (1+{\beta }_{1}L+{\beta }_1^2{L}^2+\cdots )y_t={\epsilon }_t$

   所以 $y_t+{\beta }_1{y}_{t-1}+{\beta }_1^2{y}_{t-2}+\cdots ={\epsilon }_t\Rightarrow y_t={\epsilon }_t-{\beta }_1{y}_{t-1}-{\beta }_1^2{y}_{t-2}+\cdots$

   从上面的例子可以知道，可以将 1 阶移动平均模型转换为无穷阶的自回归模型。之所以需要 MA(q) 模型，是因为在模型分析中我们需要参数尽可能地少，因此需要 MA(q) 模型来帮助我们简化。

2. MA(q) 模型的平稳性
   只要 $q$ 是常数，那么 MA(q) 模型一定是平稳的。

八、ARMA（p, q）模型

自回归移动平均模型就是设法将自回归过程 AR 和移动平均过程 MA 结合起来，共同模拟由时间序列的随机过程。

1. ARMA(p, q) 模型 $$y_t={\alpha }_0+\sum _{i=1}^p{\alpha }_i{y}_{t-i}+{\epsilon }_t+\sum _{i=1}^q{\beta }_i{\epsilon }_{t-i}$$
2. ARMA(p, q) 模型的平稳性
   由上述讨论可以知道，对于 MA(q) 模型而言，只要 $q$ 大于0，那么 MA(q) 模型平稳。因此，ARMA(p, q) 模型的平稳性只与 AR§ 部分有关。
3. 如何确定 p, q 的值
   简单的确定 p, q 的值，我们可以作出自相关系数(ACF)和偏自相关系数(PACF)图来确定。

   模型	ACF	PACF
   AR(p)	逐渐衰减，即拖尾	p 阶后截尾
   MA(q)	q 阶后截尾	逐渐衰减，即拖尾
   ARMA(p, q)	逐渐衰减，即拖尾	逐渐衰减，即拖尾

   例如：
   由图一可得，序列 x 的自相关系数在第 1, 2 阶显著异于 0 ，超过 2 阶后均和 0 没有显著的差异；而其偏自相关系数在第 1, 2, 7, 9, 16 阶显著异于0，且表现出拖尾现象。因此可以得出序列 x 可以由 MA(2) 生成。

九、模型选择：AIC 和 BIC 准则（选小准则）

1. 赤池信息准则：$$AIC=2(\text{模型中参数的个数})-2\ln (\text{模型的极大似然函数值})$$

2. 贝叶斯信息准则：$$BIC=\ln (T)(\text{模型中参数的个数})-2\ln \text{模型的极大似然函数值}$$

   AIC 和 BIC 是喧嚣原则，我们要选择使得 AIC 或者 BIC 最小的模型。（由于 BIC 对于模型复杂程度的惩罚系数更大，因此通常根据 BIC 来确定模型）

十、检验模型是否识别完全

估计了时间序列模型后，我们需要对残差进行白噪声检验，如果残差是白噪声，则说明模型能够完全识别时间序列数据的规律。
$$H_0={\rho }_1={\rho }_2=\cdots ={\rho }_s=0,H_1:{\rho }_i(i=1,2,\cdots ,s)中至少有一个不为0$$ 在 $H_0$ 成立的条件下，统计量 $Q=T(T+2){\sum }_{i=1}^s\frac{r_k^2}{T-k}{\chi }_{s-n}^2$
软件可以计算出 $p$ 值，$p$ 值小于 0.05 则可以拒绝原假设，此时模型没有识别完全，需要进行修正。
（1）$T$ 表示样本个数
（2）$n$ 表示模型中的位置参数
（3）$s$ 根据样本量的大小一般可以取 8，16，24 等（SPSS取18）

十一、ARIMA（p, d, q）模型

对于可能是 $d$ 阶单位根过程的时间序列，我们需要先对数据进行差分处理，将其转换为平稳的时间序列后再进行建模。

1. ARIMA(p, d, q) 模型 $$y_t^{\prime }={\alpha }_0+\sum _{i=1}^p{\alpha }_i{y}_{t-i}^{\prime }+{\epsilon }_t+\sum _{i=1}^q{\beta }_i{\epsilon }_{t-i}$$ 且 $y_t^{\prime }={\Delta }^d{y}_t=(1-L{)}^d{y}_t$
   所以：$$(1-\sum _{i=1}^p{\alpha }_i{L}^i)(1-L{)}^d{y}_t={\alpha }_0+(1+\sum _{i=1}^q{\beta }_i{L}^i){\epsilon }_t$$

十二、SARIMA模型

季节性 ARIMA 模型是通过在 ARIMA 模型中包含额外的季节性项而生成的，其形式为：$$SARIMA(p,d,q)\times (P,D,Q{)}_m$$（m 表示周期数）$$(1-\sum _{i=1}^p{\varphi }_i{L}^i)(1-\sum _{i=1}^P{\Phi }_i{L}^{mi})(1-L{)}^d(1-L^m{)}^D{y}_t={\alpha }_0+(1+\sum _{i=1}^q{\theta }_i{L}^i)(1+\sum _{i=1}^Q{\Theta }_i{L}^{mi}){\epsilon }_t$$

十三、时间序列建模思路

1. 处理缺失值，生成时间变量和时间序列图
2. 数据是否为季度数据或者月份数据（至少两个完整的周期），判断是否存在季节性波动
3. 根据时间序列判断数据是否为平稳序列
4. 使用 SPSS 进行建模
5. 如果结果是ARIMA(p, 0, q)模型，可以结合 ACF 和 PACF 进行分析；如果结果是ARIMA(p, 1, q)模型，可以先进行 1 阶差分后使用 ACF 和 PACF进行分析；如果结果与季节性相关，可以考虑时间序列分析。
   注意：预测需要结合背景，不要硬套模型哦~~~

如果有什么错误，还请斧正hhh