【时间序列分析】01.时间序列与平稳序列

一、时间序列与平稳序列

1.时间序列的概念

时间序列，就是按照时间次序排列的随机变量列，其最重要的特征就是具有时间关系，即处于不同时间的随机变量可能具有一定的联系。生活中有许多时间序列，如每个月的平均气温、股市每天的收盘价等等，都是时间序列。

任何时间序列，经过合理的变换后都可以看作由三个部分叠加而成：趋势项，周期项和随机噪声项。趋势项大体刻画了时间序列的变化趋势，是一个固定的、可以预测的项；周期项是具有一定周期的时间序列，比如一年四季每个季节有各自的特征，就可以用周期项来刻画；随机噪声则是随机干扰，一般被视为独立的零均值序列。

以上关系概括说来，就是
$$X_t=T_t+S_t+R_t.$$
在实际生活中，时间不能倒流，所以时间序列往往只能够发生一次，即获得一次观测。$X_1,X_2,\cdots$的一组实际数值$x_1,x_2,\cdots$是时间序列的一次实现或一条轨道。

在获得观测值后，要对时间序列进行以上的分解，才能够获得具有实际意义的分布。有一些常用的分解方式，如分段趋势分解，回归直线法，二次曲线回归法，逐步平均法等等。

随机过程中将时间指标分成连续集与离散集两种，即$t$的取值可以是连续的$\mathbb{R},{\mathbb{R}}_{+}$或离散的$\mathbb{Z},{\mathbb{Z}}_{+}$，我们将重点放在离散时间序列上。

2.重要的时间序列——平稳序列

时间序列的趋势项和季节项往往可以用非随机的函数进行刻画，剩下的随机噪声项，往往会具有某种平稳波动性，即在某条直线上下跳跃。平稳序列是用来描述某一种具有平稳波动性序列的序列，其定义如下。

如果时间序列 { X t } \{X_t\} {Xt​}满足：

1. $\forall t\in \mathbb{N},\mathrm{E}{X}_t^2<\infty$，即二阶矩存在；
2. $\forall \in \mathbb{N},\mathrm{E}{X}_t=\mu$，即均值一致；
3. $\forall t,s\in \mathbb{N},\mathrm{E}[(X_t-\mu )(X_s-\mu )]={\gamma }_{t-s}$，即自协方差只与时间差有关。

就称 { X t } \{X_t\} {Xt​}是平稳时间序列，称 { γ t } \{\gamma_t\} {γt​}为 { X t } \{X_t\} {Xt​}的自协方差函数。

从平稳序列的定义可以看出，它的平稳表现在两个方面，一是均值、方差的平稳性，即均值、方差与时间无关；二是相关性的平稳性，即序列中的任意两个随机变量自协方差函数，只与时间差有关，而与它们的绝对位置无关。

需要注意，自协方差函数是包含分布的方差的，因为$\mathrm{D}{X}_t={\gamma }_0$。这也说明了方差与时间无关，因为对任何$X_t$，其方差都是${\gamma }_0$，是一个常数。如果${\gamma }_0=0$，那么随机变量就是一个常数，没有讨论的必要，因此我们总假定${\gamma }_0>0$。

从平稳序列的定义来看，它最重要的元素无疑是自协方差函数，这刻画了序列内部的关系。首先，很显然对于任何实时间序列，其自协方差序列都是实数列，除此外自协方差函数有以下三条重要性质：

1、对称性，即${\gamma }_k={\gamma }_{-k}$对所有$k\in \mathbb{Z}$成立。

2、非负定性，即对任何$n\in \mathbb{N}$，$n$阶自协方差矩阵
$${\Gamma }_n=\left[\begin{array}{cccc}{\gamma }_0& {\gamma }_1& \cdots & {\gamma }_{n-1}\\ {\gamma }_1& {\gamma }_0& \cdots & {\gamma }_{n-2}\\ ⋮& ⋮& & ⋮\\ {\gamma }_{n-1}& {\gamma }_{n-2}& \cdots & {\gamma }_0\end{array}\right]$$
总是非负定的。

3、有界性，即对任何$k\in \mathbb{Z}$，有$|{\gamma }_k|\le {\gamma }_0$。

同时满足以上三条性质的实数列称为非负定序列，平稳序列的自协方差函数就是非负定序列，并且可以证明，每个非负定序列都可以是一个平稳序列的自协方差函数。这里建立了非负定序列与平稳序列的对应性。

接下来对平稳序列的这三条性质进行证明。对称性最显然，由定义就可以直接看出，即
$${\gamma }_k=\mathrm{C}\mathrm{o}\mathrm{v}(X_t,X_{t+k})=\mathrm{C}\mathrm{o}\mathrm{v}(X_{t+k},X_{t+k-k})={\gamma }_{-k}.$$
非负定性，即自协方差矩阵是非负定矩阵，对于任何一个二次型要证明其非负，就任取一个常数向量，计算
$$\begin{array}{rl}{\mathbf{a}}_n^{\prime }{\Gamma }_n{\mathbf{a}}_n=& \sum _{j=1}^n\sum _{k=1}^n{a}_j{a}_k{\gamma }_{j-k}\\ =& \sum _{j=1}^n\sum _{k=1}^n{a}_k{a}_j\mathrm{C}\mathrm{o}\mathrm{v}(X_k,X_j)\\ =& \mathrm{D}(\sum _{j=1}^n{a}_j{X}_j)\ge 0.\end{array}$$
这个证明过程中，需要牢记的是二次型的写法，即将二次型写成一个双重求和的结果，每一项是$b_j{b}_k$与二次型矩阵的第$(j,k)$项乘积；并且将双重求和转化成一个单次求和的函数，这个思想也很重要。

有界性，用到柯西不等式，将随机变量中心化，即$Y_t=X_t-\mu$，那么$\mathrm{D}{Y}_t=\mathrm{D}{X}_t={\gamma }_0$，$\mathrm{C}\mathrm{o}\mathrm{v}(X_t,X_{t+k})=\mathrm{C}\mathrm{o}\mathrm{v}(Y_t,Y_{t+k})={\gamma }_k$，就有$|{\gamma }_k|=|\mathrm{E}(Y_t{Y}_{t+k})|\le \sqrt{\mathrm{E}{Y}_t^2\mathrm{E}{Y}_{t+k}^2}={\gamma }_0$，这里小于等于号就是柯西不等式的结果。

由有界性可以知道$-1\le {\gamma }_k/{\gamma }_0\le 1$，与相关系数有很大的相似之处，所以我们将${\gamma }_k/{\gamma }_0$定义为平稳序列的自相关系数，也就是自协方差函数的归一化。在某些情况下，自相关函数甚至比自协方差函数还要重要。

我们再将目光投射到三条性质中，最不平凡的那条，即非负定性上。既然我们知道$\forall {\mathbf{a}}_n$，有${\mathbf{a}}_n^{\prime }{\Gamma }_n{\mathbf{a}}_n\ge 0$，那么作为临界情况的等号成立时意味着什么呢？显然等号很难对于所有${\mathbf{a}}_n$都成立（除非${\Gamma }_n=O$，但这是没有意义的），所以我们讨论对某个特定的${\mathbf{a}}_n$等号成立的情况。由于
$${\mathbf{a}}_n^{\prime }{\Gamma }_n{\mathbf{a}}_n=\mathrm{D}(\sum _{j=1}^n{a}_j{X}_j),$$
我们不妨定义$\mathbf{X}=(X_1,\cdots ,X_n{)}^{\prime }$，那么${\mathbf{a}}_n^{\prime }{\Gamma }_n{\mathbf{a}}_n=\mathrm{D}({\mathbf{a}}^{\prime }\mathbf{X})=0$，也就说明${\mathbf{a}}^{\prime }\mathbf{X}$是常数，结合其均值来看应该有${\mathbf{a}}^{\prime }X=\mu {\mathbf{a}}^{\prime }{1}_n$（$1_n$指全是1的列向量）。由于我们规定${\mathbf{a}}_n\ne 0$，那么一定存在一个下标最大的分量$a_k\ne 0$，使得$X_k$可以被$X_1,\cdots ,X_{k-1}$线性表示。这时，我们称$X_1,\cdots ,X_n$是线性相关的。

并且进一步看，由于自协方差函数与序列位置无关，即
$${\mathbf{a}}_n^{\prime }{\Gamma }_n{\mathbf{a}}_n=\sum _{j=1}^n\sum _{k=1}^n{a}_j{a}_k\mathrm{C}\mathrm{o}\mathrm{v}(X_{t+j},X_{t+k})=\mathrm{D}(\sum _{j=1}^n{a}_j{X}_{t+j})=0,$$
所以对任何一组的连续的$(X_{t+1},\cdots ,X_{t+n})$，都有$X_{t+k}$可以被$X_{t+1},\cdots ,X_{t+k-1}$线性表示，并且表示系数是相同的。这一性质，表明对于退化的${\Gamma }_n$，任何$X_t,t\ge n$都可以被$X_0,\cdots ,X_{n-1}$线性表示，这进一步说明了对于任意的$n$个$X_t$，它们一定是线性相关的，不管是不是连续增长的时间指标$t$。

事实上，用多元统计的观点看，设$\mathbf{X}=(X_{t+1},X_{t+2},\cdots ,X_{t+n})$，那么${\Gamma }_n=\mathrm{D}(\mathbf{X})$，即随机向量的协方差矩阵，那么自然有
$$\mathrm{E}(A\mathbf{X}+B)=A\mathbf{X}+B,\mathrm{D}(A\mathbf{X}+B)=A\mathrm{D}(\mathbf{X})A^{\prime }=A{\Gamma }_n{A}^{\prime }.$$
当$A={\mathbf{a}}_n^{\prime },B=c$的时候，显然有$D({\mathbf{a}}_n^{\prime }\mathbf{X}+c)={\mathbf{a}}_n^{\prime }{\Gamma }_n{\mathbf{a}}_n\ge 0$。

需要注意的是，平稳序列并不一定是平稳但散乱的，也可以具有很强的周期性，其典型例子就是调和平稳序列$X_t=b\cos (at+U),U\sim U(-\pi ,\pi )$，它的自协方差函数是$\frac{1}{2}{b}^2\cos ((t-s)a)$，具有很强的周期性，所以观测样本也会具有周期性。

3.特殊的平稳序列——白噪声

白噪声是一种最为简单，但也颇具地位的平稳序列，其定义如下。

设 { ε t } \{\varepsilon_t\} {εt​}是一个平稳序列，如果对任何$s,t\in \mathbb{N}$，都有
$$\begin{gathered} \mathrm{E}{\epsilon }_t=\mu ,\mathrm{D}{\epsilon }_t={\sigma }^2, \\ \mathrm{C}\mathrm{o}\mathrm{v}({\epsilon }_t,{\epsilon }_s)=0,t\ne s. \end{gathered}$$
就称 { ε t } \{\varepsilon_t\} {εt​}是一个白噪声，记作$\mathrm{W}\mathrm{N}(\mu ,{\sigma }^2)$。

关于其方差和协方差的另一种写法是
$$\mathrm{C}\mathrm{o}\mathrm{v}({\epsilon }_t,{\epsilon }_s)=\{\begin{array}{lc}{\sigma }^2,& t=s\\ 0,& t\ne s\end{array}={\sigma }^2{\delta }_{t-s}.$$
这里${\delta }_k$是克罗内克(Kronecker)函数，当$k=0$时${\delta }_k=1$，否则${\delta }_k=0$。

白噪声又可以细分为以下几类：

• 当 { ε t } \{\varepsilon_t\} {εt​}是独立序列时，称为独立白噪声（定义只保证了不相关）；
• 当$\mu =0$时，称为零均值白噪声；
• 当$\mu =0,{\sigma }^2=1$时，称为标准白噪声；
• 当 { ε t } \{\varepsilon_t\} {εt​}服从正态分布且是独立序列时，称为正态白噪声。

4.多平稳序列的相互关系

多平稳序列的相互关系，指的是对于两个平稳序列 { X t } \{X_t\} {Xt​}和 { Y t } \{Y_t\} {Yt​}，它们之间具有的相互性质。具体可以细分为正交平稳序列和不相关平稳序列，其定义如下：

正交的：如果$\forall s,t\in \mathbb{Z}$，都有$\mathrm{E}(X_t{Y}_s)=0$，就称 { X t } , { Y t } \{X_t\},\{Y_t\} {Xt​},{Yt​}是正交的。

不相关的：如果$\forall s,t\in \mathbb{Z}$，都有$\mathrm{E}(X_t{Y}_s)=\mathrm{E}{X}_t\mathrm{E}{Y}_s$，就称 { X t } , { Y s } \{X_t\},\{Y_s\} {Xt​},{Ys​}是不相关的。

这两个定义很好从字面意义上理解。正交是垂直的推广，在线性代数中两个向量$a,b$正交被定义为其内积$⟨a,b⟩=0$，在平稳序列中，就是乘积的期望为0；不相关就是二者不对对方产生影响，所以乘起来求期望与分开求期望相乘得到的结果理应是一样的。如果$\mathrm{E}{X}_t\mathrm{E}{Y}_s=0$，那么正交序列和不相关序列本身等价，也就是说，对于零均值平稳序列，其正交性和不相关性是等价的。

为什么要讨论这两种特殊的关系呢？我们以后可能会对平稳序列进行求和，即$Z_t=X_t+Y_t$，如果 { Z t } \{Z_t\} {Zt​}本身也能够是平稳序列那再好不过了。幸运的是， { X t } , { Y t } \{X_t\},\{Y_t\} {Xt​},{Yt​}是正交、不相关序列时，都能让 { Z t } \{Z_t\} {Zt​}是平稳序列。

要证明 { Z t } \{Z_t\} {Zt​}是平稳序列，就要证明其二阶矩有限、期望平稳、自协方差函数仅与时间差有关。期望平稳是显然的，有${\mu }_Z={\mu }_X+{\mu }_Y$；二阶矩有限也是显然的，有
$$\mathrm{E}{Z}_t^2=\mathrm{E}(X_t+Y_t{)}^2\le 2\mathrm{E}{X}_t^2+2\mathrm{E}{Y}_t^2<\infty .$$
接下来对正交、不相关序列，分别求 { Z t } \{Z_t\} {Zt​}的自协方差函数。首先是正交的情况，有
$$\begin{array}{rl}\mathrm{C}\mathrm{o}\mathrm{v}(Z_t,Z_s)=& \mathrm{C}\mathrm{o}\mathrm{v}(X_t,X_s)+\mathrm{C}\mathrm{o}\mathrm{v}(X_t,Y_s)+\mathrm{C}\mathrm{o}\mathrm{v}(Y_t,X_s)+\mathrm{C}\mathrm{o}\mathrm{v}(Y_t,Y_s)\\ =& {\gamma }_X(t-s)+{\gamma }_Y(t-s)+\mathrm{E}(X_s{Y}_t)-\mathrm{E}{X}_s\mathrm{E}{Y}_t+\mathrm{E}(X_t{Y}_s)-\mathrm{E}{X}_t\mathrm{E}{Y}_s\\ =& {\gamma }_X(t-s)+{\gamma }_Y(t-s)-2{\mu }_X{\mu }_Y;\end{array}$$
然后是不相关的情况，立马得到$\mathrm{C}\mathrm{o}\mathrm{v}(Z_t,Z_s)={\gamma }_X(t-s)+{\gamma }_Y(t-s)$。这两个数都是$t-s$的函数，这就证明了对正交、不相关平稳序列，其和仍然是平稳序列。

加和的自协方差函数不方便记忆，可以记以下的简化结论：对于零均值的正交平稳序列 { X t } , { Y t } \{X_t\},\{Y_t\} {Xt​},{Yt​}，他们的和 { Z t } , Z t = X t + Y t \{Z_t\},Z_t=X_t+Y_t {Zt​},Zt​=Xt​+Yt​仍是平稳序列，且${\mu }_Z={\mu }_X+{\mu }_Y,{\gamma }_Z(k)={\gamma }_X(k)+{\gamma }_Y(k)$。

回顾总结

1. 任何时间序列经过适当的变换，都可以拆解为趋势项、季节项、随机噪声，并且趋势项和季节项一般被认为是非随机函数。
2. 平稳序列是二阶矩存在、期望一致、自协方差只与时间差有关的时间序列，满足这三个条件就是平稳序列，这一般被用来验证序列的平稳性。
3. 平稳序列中最重要的是自协方差函数 { γ k } \{\gamma_k\} {γk​}，这是一个实数列，满足对称性、非负定性、有界性三个性质。
4. 满足对称性、非负定性、有界性的实数列被称为非负定序列，一个非负定序列一定是某个平稳序列的自协方差函数。但非负定性的验证比较麻烦，所以验证一个序列是非负定序列一般是证明它是某个平稳序列的自协方差函数。
5. 如果${\Gamma }_n$退化，则$X_1,\cdots ,X_n$线性相关，并且可以证明任何下标不小于$n$的项$X_t$都可以用$X_1$到$X_{n-1}$这$n-1$项线性表示。
6. 平稳序列是特殊的时间序列，白噪声$\mathrm{W}\mathrm{N}(\mu ,{\sigma }^2)$是特殊的平稳序列，它的主要特征是序列不相关性，也就是序列之间任意两个不同的随机变量无关，一样需要满足均值、方差的一致性。
7. 白噪声中，又有独立白噪声、零均值白噪声、标准白噪声、正态白噪声几类特殊白噪声。
8. 平稳序列正交指$\mathrm{E}(X_t{Y}_s)=0$，不相关指$\mathrm{E}(X_t{Y}_s)=\mathrm{E}{X}_t\mathrm{E}{Y}_s$，对零均值平稳序列这两个定义是等价的。
9. 平稳的正交、不相关序列加和仍然是平稳序列，且对于零均值的情况，自协方差函数为两个分开的自协方差函数之和。