Lecture 7 时间序列
7.1 时间序列介绍
一系列以时间为顺序的随机变量 { … X 1 , X 2 , … , X t , … } \{\dots X_1,X_2,\dots,X_t,\dots\} { …X1,X2,…,Xt,…},即 { X t , t ∈ T } \{X_t,t\in T\} { Xt,t∈T}.
这些随机变量可能是连续的,也可能是离散的。我们所观测到的只是这些随机变量在每一个时点的实现值(观测值) { … , x 1 , x 2 , … , x t , … } \{\dots,x_1,x_2,\dots,x_t,\dots\} { …,x1,x2,…,xt,…}.
平稳性:基于过去信息得到的时间依赖性(temporal dependency)只有在**概率分布不随时间改变(平稳性)**的条件下,才能用于预测未来。
-
强平稳:对任意的 k k k和 s s s, f ( X t 1 , X t 2 , … , X t k ) f(X_{t_1},X_{t_2},\dots,X_{t_k}) f(Xt1,Xt2,…,Xtk)与 f ( X t 1 + s , X t 2 + s , … , X t k + s ) f(X_{t_1+s},X_{t_2}+s,\dots,X_{t_k}+s) f(Xt1+s,Xt2+s,…,Xtk+s),表示相同的概率分布函数
-
弱平稳: E ( X t ) = μ \color{red}\mathrm{E}(X_t)=\mu E(Xt)=μ, V a r ( X t ) = σ 2 \color{red}\mathrm{Var}(X_t)=\sigma^2 Var(Xt)=σ2, C o v ( X t , X t + k ) = γ k \color{red}{\mathrm{Cov}(X_t,X_{t+k})}=\gamma_k Cov(Xt,Xt+k)=γk ⇒ V a r ( X t ) = C o v ( X t , X t ) = γ 0 = σ 2 \Rightarrow Var(X_t)=Cov(X_t,X_t)=\gamma_0=\sigma^2 ⇒Var(Xt)=Cov(Xt,Xt)=γ0=σ2,时间序列的均值、方差不随时间而变化,(自)协方差仅依赖于观测时点之间的时间间隔而于所处的时间点无关。我们所说的时间序列平稳指的是弱平稳。
白噪声:零均值、同方差、序列不相关 { a t } ∼ W N ( 0 , σ a 2 ) \{a_t\}\sim WN(0,\sigma^2_a) { at}∼WN(0,σa2);高斯(Gaussian)白噪声服从正态分布。
W N ( 0 , σ a 2 ) WN(0,\sigma^2_a) WN(0,σa2)表示服从均值为0,方差为 σ a 2 \sigma_a^2 σa2的白噪声序列; N ( 0 , σ 2 ) N(0,\sigma^2) N(0,σ2)表示服从均值为0,方差 σ 2 \sigma^2 σ2的正态分布
自相关方程(ACF):
ρ l = C o v ( X t , X t − l ) V a r ( X t ) V a r ( X t − l ) = γ l σ 2 = γ l γ 0 \rho_l=\frac{Cov(X_t,X_{t-l})}{\sqrt{Var(X_t)Var(X_{t-l})}}=\frac{\gamma_l}{\sigma^2}=\frac{\gamma_l}{\gamma_0} ρl=Var(Xt)Var(Xt−l)Cov(Xt,Xt−l)=σ2γl=γ0γl
-
ρ 0 = 1 , ρ l − ρ − l , − 1 ≤ ρ l ≤ 1 \rho_0=1,\rho_l-\rho_{-l},-1\leq\rho_l\leq1 ρ0=1,ρl−ρ−l,−1≤ρl≤1.
-
对平稳序列才有意义,线性时间序列以ACF为特征
-
白噪声的ACF=0
-
习惯上,这一个序列称为自相关方程,单个称为自相关系数
样本自相关系数:
ρ ^ l = ∑ t = l T ( X t − l − X ˉ ) ( X t − X ˉ ) ∑ t = 1 T ( X t − X ˉ ) 2 \hat\rho_l=\frac{\sum\limits_{t=l}^{T}(X_{t-l}-\bar{X})(X_{t}-\bar{X})}{\sum\limits_{t=1}^{T}(X_t-\bar{X})^2} ρ^l=t=1∑T(Xt−Xˉ)2t=l∑T(Xt−l−Xˉ)(Xt−Xˉ)
7.2 单变量均值回归模型
ARMA模型考察的时间序列的自相关性
AR(Auto Regression)模型(自回归模型/自相关模型)
AR(1) | AR(2) | AR( p ) | |
---|---|---|---|
表达式 | r t = ϕ 0 + ϕ 1 r t − 1 + a t r_t=\phi_0+\phi_1r_{t-1}+a_t rt=ϕ0+ϕ1rt−1+at | r t = ϕ 0 + ϕ 1 r t − 1 + ϕ 2 r t − 2 + a t r_t=\phi_0+\phi_1r_{t-1}+\phi_2r_{t-2}+a_t rt=ϕ0+ϕ1rt−1+ϕ2rt−2+at | r t = ϕ 0 + ϕ 1 r t − 1 + ⋯ + ϕ p r t − p + a t r_t=\phi_0+\phi_1r_{t-1}+\dots+\phi_pr_{t-p}+a_t rt=ϕ0+ϕ1rt−1+⋯+ϕprt−p+at |
特征方程 | x − ϕ 1 = 0 x-\phi_1=0 x−ϕ1=0 | x 2 − ϕ 1 x − ϕ 2 = 0 x^2-\phi_1 x-\phi_2=0 x2−ϕ1x−ϕ2=0 | x p − ϕ 1 x p − 1 − ⋯ − ϕ p = 0 x^p-\phi_1x^{p-1}-\dots-\phi_p=0 xp−ϕ1xp−1−⋯−ϕp=0 |
弱平稳条件 | ∣ ϕ 1 ∣ < 1 |\phi_1|<1 ∣ϕ1∣<1 | 特征根的模(因为可能是虚数)小于1 | |
条件矩 | E ( r t ∣ F t − 1 ) = ϕ 0 + ϕ 1 ⋅ r t − 1 V a r ( r t ∣ F t − 1 ) = σ a 2 E(r_t|F_{t-1})=\phi_0+\phi_1\cdot r_{t-1}\\Var(r_t|F_{t-1})=\sigma_a^2 E(rt∣Ft−1)=ϕ0+ϕ1⋅rt−1Var(rt∣Ft−1)=σa2 | E ( r t ∣ F t − 1 ) = ϕ 0 + ϕ 1 ⋅ r t − 1 + ϕ 2 ⋅ r t − 2 V a r ( r t ∣ F t − 1 ) = σ a 2 E(r_t|F_{t-1})=\phi_0+\phi_1\cdot r_{t-1}+\phi_2\cdot r_{t-2}\\Var(r_t|F_{t-1})=\sigma_a^2 E(rt∣Ft−1)=ϕ0+ϕ1⋅rt−1+ϕ2⋅rt−2Var(rt∣Ft−1)=σa2 | |
无条件矩 | μ = E ( r t ) = ϕ 0 1 − ϕ 1 σ 2 ( r t ) = σ a 2 1 − ϕ 1 2 \mu=E(r_t)=\frac{\phi_0}{1-\phi_1}\\\sigma^2(r_t)=\frac{\sigma_a^2}{1-\phi_1^2} μ=E(rt)=1−ϕ1ϕ0σ2(rt)=1−ϕ12σa2 滞后 l l l期的自协方差: γ l = ϕ 1 γ l − 1 = ⋯ = ϕ 1 l γ 0 \gamma_l=\phi_1\gamma_{l-1}=\dots=\phi_1^l\gamma_0 γl=ϕ1γl−1=⋯=ϕ1lγ0 |
μ = E ( r t ) = ϕ 0 1 − ϕ 1 − ϕ 2 σ 2 ( r t ) = σ a 2 1 − ϕ 1 2 − ϕ 2 2 − 2 ϕ 1 ϕ 2 ρ 1 \mu=E(r_t)=\frac{\phi_0}{1-\phi_1-\phi_2}\\\sigma^2(r_t)=\frac{\sigma_a^2}{1-\phi_1^2-\phi_2^2-2\phi_1\phi_2\rho_1} μ=E(rt)=1−ϕ1−ϕ2ϕ0σ2(rt)=1−ϕ12−ϕ22−2ϕ1ϕ2ρ1σa2 | |
ACF(反映特征,和特征方程形式类似) | ρ 0 = 1 \rho_0=1 ρ0=1 ρ l = ϕ 1 l ( l ≥ 1 ) \rho_l=\phi_1^l(l\geq1) ρl=ϕ1l(l≥1) 无限记忆、无限衰减 拖尾 |
ρ 0 = 1 \rho_0=1 ρ0=1 ρ 1 = ϕ 1 1 − ϕ 2 \rho_1=\frac{\phi_1}{1-\phi_2} ρ1=1−ϕ2ϕ1 ρ l = ϕ 1 ρ l − 1 − ϕ 2 ρ l − 2 ( l ≥ 2 ) \rho_l=\phi_1\rho_{l-1}-\phi_2\rho_{l-2}(l\geq2) ρl=ϕ1ρl−1−ϕ2ρl−2(l≥2) · 如果 ϕ 1 2 + 4 ϕ 2 > 0 \phi_1^2+4\phi_2>0 ϕ12+4ϕ2>0,两个指数衰减的混合 · 如果 ϕ 1 2 + 4 ϕ 2 < 0 \phi_1^2+4\phi_2<0 ϕ12+4ϕ2<0,逐渐衰弱的正余弦波(表明商业周期存在) |
|
PACF | ϕ ^ 1 , 1 \hat{\phi}_{1,1} ϕ^1,1为滞后1期的PCAF AR(1)的PACF在滞后期为1后截尾 |
ϕ ^ 2 , 2 \hat{\phi}_{2,2} ϕ^2,2为滞后2期的PCAF AR(2)的PACF在滞后期为2后截尾 |
ϕ ^ p , p \hat{\phi}_{p,p} ϕ^ |