金融计量模型（七）：线性时间序列模型——单变量时间序列

线性时间序列模型——单变量时间序列

平稳性

平稳性是时间序列分析的基础。

严平稳

严平稳：分布是时不变的，即对所有的 $t$，任意正整数 $k$ 和任意 $k$ 个正整数 $(t_1,\cdots ,t_k)$，$(r_{t_1},\cdots ,r_{t_k})$ 的联合分布与 $(r_{t_1+t},\cdots ,r_{t_k+t})$ 的联合分布是相同的。

弱平稳

弱平稳：前两个矩是时不变的，$r_t$ 的均值与 $r_t$ 和 $r_{t-l}$ 的协方差不随时间改变，其中 $l$ 是任意整数。

1. 对所有的 $t$，$E(r_t)=\mu$，$\mu$ 为一个常数。
2. 对所有的 $t$，$Var(r_t)=E[(r_t-\mu {)}^2]={\sigma }^2$。
3. 对所有的 $t$，${\gamma }_k=cov(r_t,r_{t-k})=E[(r_t-\mu )(r_{t-k}-\mu )]$，${\gamma }_k$ 只依赖于 $k$。${\gamma }_0=Var(r_t),{\gamma }_{-l}={\gamma }_l$。

实际中，假定我们有 $T$ 个数据观测点 { r t ∣ t = 1 , ⋯   , T } \{r_t|t=1,\cdots,T\} {rt​∣t=1,⋯,T}，弱平稳性意味着数据的时间图显示 $T$ 个值在一个常数水平上下以相同的幅度波动。

自相关函数（ACF）

$$\begin{gathered} {\rho }_k=\frac{Cov(r_t,r_{t-k})}{Var(r_t)}=\frac{{\gamma }_k}{{\gamma }_0} \\ {\rho }_0=1,{\rho }_k={\rho }_{-k},k\ne 0,-1\le {\rho }_k\le 1 \end{gathered}$$

考虑一个给定的收益率样本 { r t } t = 1 T \{r_t\}^T_{t=1} {rt​}t=1T​，$\bar{r}$ 是样本均值：
$${\hat{\rho }}_k=\frac{{\sum }_{t=k+1}^T(r_t-\bar{r})(r_{t-k}-\bar{r})}{{\sum }_{t=1}^T(r_t-\bar{r}{)}^2},0\le k<T-1$$
事实上，线性时间序列模型可以用其ACF来表征。

若 { r t } \{r_t\} {rt​} 是一个独立同分布序列，满足 $E(r_t^2)<\infty$，则对任意固定的正整数 $l$，${\hat{\rho }}_l$ 渐进服从均值为0，方差为 $1/T$ 的正态分布。

若 { r t } \{r_t\} {rt​} 是一个弱平稳序列，满足 $r_t=\mu +{\sum }_{i=0}^q{\psi }_i{a}_{t-i},{\psi }_0=1$， { a j } \{a_j\} {aj​} 是均值为0的独立同分布任意变量的序列，则对 $l>q$，${\hat{\rho }}_l$ 渐近地服从均值为0、方差为 $(1+2{\sum }_{i=1}^q{\rho }_i^2)/T$ 的正态分布。

检验单个ACF

对一个给定的正整数 ，可进行检验 $H$，检验统计量为：
$$tratio=\frac{{\hat{\rho }}_l}{\sqrt{(1+2{\sum }_{i=1}^{l-1}{\rho }_i^2)/T}}$$
如果 { r t } \{r_t\} {rt​} 是一个平稳高斯序列且满足当 $j>l$ 时 ${\rho }_l=0$，则 $tratio$ 渐进服从均值为0、方差为 $(1+2{\sum }_{i=1}^{l-1}{\rho }_i^2)/T$ 的正态分布，$tratio$ 渐进服从标准正态分布。

当 $|tratio|>Z_{\alpha /2}$ 时拒绝 $H_0$，其中 $Z_{\alpha /2}$ 是标准正态分布的 $100(1-\alpha /2)$ 分位点。

联合检验

$H_0:{\rho }_1=\cdots ={\rho }_m=0$；$H_a:$ 对某 i ∈ { 1 , ⋯   , m } , ρ i ≠ 0 i\in\{1,\cdots,m\},\rho_i\neq0 i∈{1,⋯,m},ρi​​=0。
$$Q(m)=T(T+2)\sum _{l=1}^m\frac{{\hat{\rho }}_l^2}{T-l}$$
在 { r t } \{r_t\} {rt​} 为满足一定矩条件的独立同分布序列的假定下，$Q(m)$ 渐近服从自由度为 $m$ 的 ${\chi }^2$ 分布。$Q(m)\to {\chi }_m^2$

决策规则：当 $Q(m)>{\chi }_{\alpha }^2$ 时拒绝 $H_0$，其中 ${\chi }_{\alpha }^2$ 是自由度为 $m$ 的 ${\chi }^2$ 分布的 $100(1-\alpha )$ 分位点。

白噪声

{ ε t } \{\varepsilon_t\} {εt​} 为白噪声：
$$\begin{gathered} E({\epsilon }_t)=0 \\ E({\epsilon }_t^2)={\sigma }^2 \\ E({\epsilon }_t{\epsilon }_{\tau })=0,t\ne \tau \end{gathered}$$
此外，如果 { ε t } \{\varepsilon_t\} {εt​} 随时间的变化是独立的，则称为独立白噪声。

进一步，如果 { ε t } ∼ N ( 0 , σ 2 ) \{\varepsilon_t\}\sim N(0,\sigma^2) {εt​}∼N(0,σ2)，则称为高斯白噪声。

线性时间序列

在时间点 $t$：

1. 信息集： { r 1 , r 2 , ⋯   , r t − 1 } ≡ ϝ t − 1 \{r_1,r_2,\cdots,r_{t-1}\}\equiv\digamma_{t-1} {r1​,r2​,⋯,rt−1​}≡ϝt−1​
2. $r_t=conditionalmean+shock=functionofelementsof{ϝ}_{t-1}+a_t$

给定信息 ${ϝ}_{t-1}$：
$$r_t={\mu }_t+a_t=E(r_t|{ϝ}_{t-1})+{\sigma }_t{\epsilon }_t$$
${\mu }_t$：$r_t$ 的条件均值。

$a_t$：时刻 $t$ 的新息或扰动。

${\epsilon }_t$：独立同分布，均值为0，方差为1。

${\sigma }_t$：条件标准误差（波动率）。

在拟合线性时间序列模型之前，我们要测试 ${\mu }_t$ 是否是固定的常数（或： { r t } \{r_t\} {rt​} 是否是白噪声），检验方法见上。

如果白噪声假设不被拒绝，则不需要线性时间序列模型！如果白噪声假设被拒绝，我们需要一个线性时间序列模型！

{ r t } \{r_t\} {rt​} 称为线性序列，如果它能写成：
$$r_t=\mu +\sum _{i=0}^{\infty }{\psi }_i{a}_{t-i}$$
其中 $\mu$ 是 $r_t$ 的均值，${\psi }_0=1$， { a t } \{a_t\} {at​} 是零均值独立同分布的随机变量序列（即为白噪声）。
$$E(r_t)=\mu ,Var(r_t)={\sigma }_a^2\sum _{i=0}^{\infty }{\psi }_i^2$$
其中 ${\sigma }_a^2$ 是 $a_t$ 的方差， { ψ i 2 } \{\psi_i^2\} {ψi2​} 必须是收敛序列，即当 $i\to \infty ,{\psi }_i^2\to 0$。
$$\begin{gathered} r_l=Cov(r_t,r_{t-l})=E[(\sum _{i=0}^{\infty }{\psi }_i{a}_{t-i})(\sum _{j=0}^{\infty }{\psi }_j{a}_{t-l-j})] \\ =E(\sum _{i,j=0}^{\infty }{\psi }_i{\psi }_j{a}_{t-i}{a}_{t-l-j}) \\ =\sum _{j=0}^{\infty }{\psi }_{j+l}{\psi }_{j}E(a_{t-l-j}^2) \\ ={\sigma }_a^2\sum _{j=0}^{\infty }{\psi }_j{\psi }_{j+l} \end{gathered}$$
于是有
$${\rho }_l=\frac{r_l}{r_0}=\frac{{\sum }_{i=0}^{\infty }{\psi }_i{\psi }_{i+l}}{{\sum }_{i=0}^{\infty }{\psi }_i^2}=\frac{{\sum }_{i=0}^{\infty }{\psi }_i{\psi }_{i+l}}{1+{\sum }_{i=1}^{\infty }{\psi }_i^2},l\ge 0$$

AR模型

AR(1)

$$r_t={\varphi }_0+{\varphi }_1{r}_{t-1}+a_t$$

{ a t } \{a_t\} {at​} 是均值为0、方差为 ${\sigma }_a^2$ 的白噪声序列。

通过递推可得：$r_t={\varphi }_0{\sum }_{i=0}^{t-1}{\varphi }_1^i+{\varphi }_i^t{r}_0+{\sum }_{i=0}^{t-1}{\varphi }_1^i{a}_{t-i}$。

若 ${\varphi }_1=1$：$r_t=t{\varphi }_0+r_0+{\sum }_{i=0}^{t-1}{a}_{t-i}$

若 $|{\varphi }_1|<1$：
$$t\to \infty ,r_t\to \frac{{\varphi }_0}{1-{\varphi }_1}+\sum _{i=0}^{\infty }{\varphi }_1^i{a}_{t-i},E(r_t)=\frac{{\varphi }_0}{1-{\varphi }_1}=\mu \to {\varphi }_0=\mu (1-{\varphi }_1)\to r_t-\mu ={\varphi }_1(r_{t-1}-\mu )+a_t$$
模型是弱平稳的充分必要条件是：$|{\varphi }_1|<1$。

方差：
$$\begin{gathered} r_t={\varphi }_0+{\varphi }_1{r}_{t-1}+a_t \\ Var(r_t)={\varphi }_1^{2}Var(r_{t-1})+Var(a_t) \\ Var(r_t)=\frac{{\sigma }_a^2}{1-{\varphi }_1^2} \end{gathered}$$
ACF与相关性：
$$\begin{gathered} {\gamma }_1=Cov(r_t,r_{t-1})=Cov[{\varphi }_0+{\varphi }_1{r}_{t-1}+a_t,r_{t-1}]={\varphi }_{1}Var(r_{t-1})={\varphi }_1{\gamma }_0 \\ {\gamma }_k={\varphi }_1^k{\gamma }_0 \\ {\rho }_1={\varphi }_1,{\rho }_k={\varphi }_1^k \end{gathered}$$
如果是平稳的，ACF会随时间间隔增加呈指数形式减小。

预测：在时间点n： ϝ n = { r n , r n − 1 , …   } \digamma_n=\{r_n,r_{n-1},\dots\} ϝn​={rn​,rn−1​,…}，预测时间点n+l：
$$\begin{gathered} {\hat{r}}_{n+l}=\arg \underset{g}{\min }E[(r_{n+l}-g{)}^2|{ϝ}_n] \\ {\hat{r}}_{n+l}=E[r_{n+l}|{ϝ}_n] \\ l=1:{\hat{r}}_{n+1}=E[r_{n+1}|{ϝ}_n]=E[{\varphi }_0+{\varphi }_1{r}_n+a_{n+1}|{ϝ}_n]={\varphi }_0+{\varphi }_1{r}_n \\ {e}_n(1)=r_{n+1}-{\hat{r}}_{n+1}=a_{n+1} \\ Var(e_n(1))=Var(a_{n+1})={\sigma }_a^2 \\ l=2:{\hat{r}}_{n+2}=E[r_{n+2}|{ϝ}_n]=E[{\varphi }_0+{\varphi }_1{r}_{n+1}+a_{n+2}|{ϝ}_n] \\ =E[{\varphi }_0+{\varphi }_0{\varphi }_1+{\varphi }_1^2{r}_n+{\varphi }_1{a}_{n+1}+a_{n+2}|{ϝ}_n]={\varphi }_0+{\varphi }_0{\varphi }_1+{\varphi }_1^2{r}_n \\ {e}_n(2)=r_{n+2}-{\hat{r}}_{n+2}=a_{n+2}+{\varphi }_1{a}_{n+1} \\ Var(e_n(2))=Var(a_{n+2}+{\varphi }_1{a}_{n+1})=(1+{\varphi }_1^2){\sigma }_a^2 \end{gathered}$$
对于一般的 $l$：
$$\begin{gathered} {\hat{r}}_{n+l}={\varphi }_0\sum _{i=0}^{l-1}{\varphi }_1^i+{\varphi }_1^l{r}_n \\ {e}_n(l)=\sum _{i=0}^{l-1}{\varphi }_1^i{a}_{n+l-i} \\ Var(e_n(l))={\sigma }_a^2\sum _{i=0}^{l-1}{\varphi }_1^{2i} \end{gathered}$$
特别的，当 $l\to \infty$:
$$\begin{gathered} {\hat{r}}_{n+l}\to \mu =\frac{{\varphi }_0}{1-{\varphi }_1} \\ Var(e_n(\infty ))=\frac{{\sigma }_a^2}{1-{\varphi }_1^2}=Var(r_t) \end{gathered}$$
这种性质称为均值回转（mean-reversion）。

AR(2)

$$\begin{gathered} r_t={\varphi }_0+{\varphi }_1{r}_{t-1}+{\varphi }_2{r}_{t-2}+a_t\to (1-{\varphi }_{1}B-{\varphi }_2{B}^2)r_t={\varphi }_0+a_t \\ E(r_t)=\frac{{\varphi }_0}{1-{\varphi }_1-{\varphi }_2} \\ ACF:{\rho }_0=1,{\rho }_1=\frac{{\varphi }_1}{1-{\varphi }_2} \\ {\rho }_k={\varphi }_1{\rho }_{k-1}+{\varphi }_2{\rho }_{k-2},k\ge 2 \end{gathered}$$

平稳条件：使得方程 $1-{\varphi }_{1}x-{\varphi }_2{x}^2=0$ 的根都在单位圆外：
$$\begin{gathered} {\varphi }_1^2+4{\varphi }_2>0\to x_1,x_2=\frac{{\varphi }_1\pm \sqrt{{\varphi }_1+4{\varphi }_2}}{-2{\varphi }_2} \\ {\varphi }_1^2+4{\varphi }_2<0\to x_1,x_2=\frac{{\varphi }_1\pm i\sqrt{{\varphi }_1+4{\varphi }_2}}{-2{\varphi }_2} \end{gathered}$$
也即AR(2)模型的两个特征根 $|{\omega }_1|=|\frac{1}{x_1}|<1,|{\omega }_2|=|\frac{1}{x_2}|<1$

1. 实值特征根：
   $$\begin{gathered} (1-{\omega }_{1}B)(1-{\omega }_{2}B)r_t={\varphi }_0+a_t \\ {r}_t=b_0+\sum _{j=0}^{\infty }{\alpha }_j{a}_{t-j}+A_1{\omega }_1^t+A_2{\omega }_2^t \end{gathered}$$

2. 虚值特征根：
   $$\begin{gathered} {\omega }_1,{\omega }_2=\sqrt{-{\varphi }_2}(\frac{{\varphi }_1}{2\sqrt{-{\varphi }_2}}\pm \frac{\sqrt{-{\varphi }_1^2-4{\varphi }_2}}{2\sqrt{-{\varphi }_2}}i) \\ {w}_1=\gamma [\cos \theta +i\sin \theta ],w_2=\gamma [\cos \theta -i\sin \theta ],k=\frac{2\pi }{\theta },\theta =\arccos [\frac{{\varphi }_1}{2\sqrt{-{\varphi }_2}}] \\ {r}_t=b_0+\sum _{j=0}^{\infty }{\alpha }_j{a}_{t-j}+{\beta }_1{\gamma }^t\cos (\theta t+{\beta }_2),\gamma =|w_i| \end{gathered}$$

AR§

$$\begin{gathered} r_t={\varphi }_0+{\varphi }_1{r}_{t-1}+{\varphi }_2{r}_{t-2}+\cdots +{\varphi }_p{r}_{t-p}+a_t \\ (1-{\varphi }_{1}B-{\varphi }_2{B}^2-\cdots -{\varphi }_p{B}^p)r_t={\varphi }_0+a_t \\ E(r_t)=\frac{{\varphi }_0}{1-{\varphi }_1-{\varphi }_2-\cdots -{\varphi }_p} \end{gathered}$$

平稳条件：使得方程 $1-{\varphi }_{1}x-{\varphi }_2{x}^2-\cdots -{\varphi }_p{x}^p=0$ 的根都在单位圆外。

ACF满足：
$$(1-{\varphi }_{1}B-{\varphi }_2{B}^2-\cdots -{\varphi }_p{B}^p)p_l=0,l>0$$

识别AR模型

用PACF

最小二乘估计如下模型：
$$\begin{gathered} r_t={\varphi }_{0,1}+{\varphi }_{1,1}{r}_{t-1}+e_{1t} \\ {r}_t={\varphi }_{0,2}+{\varphi }_{1,2}{r}_{t-1}+{\varphi }_{2,2}{r}_{t-2}+e_{2t} \\ {r}_t={\varphi }_{0,3}+{\varphi }_{1,3}{r}_{t-1}+{\varphi }_{2,3}{r}_{t-2}+{\varphi }_{3,3}{r}_{t-3}+e_{3t} \\ {r}_t={\varphi }_{0,4}+{\varphi }_{1,4}{r}_{t-1}+{\varphi }_{2,4}{r}_{t-2}+{\varphi }_{3,4}{r}_{t-3}+{\varphi }_{4,4}{r}_{t-4}+e_{4t} \end{gathered}$$
PACF即为 ${\hat{\varphi }}_{p,p}$。

1. 当样本容量 $T$ 趋于无穷时，${\hat{\varphi }}_{p,p}$ 收敛于 ${\varphi }_p$。
2. 对于 $l>p$，${\hat{\varphi }}_{l,l}$ 收敛于0。
3. 对于 $l>p$，${\hat{\varphi }}_{l,l}$ 的渐进方差为 $1/T$。${\hat{\varphi }}_{l,l}\sim N(0,\frac{1}{T})$。

信息准则

$$\begin{gathered} AIC(l)=\ln ({\tilde{\sigma }}_l^2)+\frac{2l}{T} \\ BIC(l)=\ln ({\tilde{\sigma }}_l^2)+\frac{l\ln (T)}{T} \\ HQIC(l)=\ln ({\tilde{\sigma }}_l^2)+\frac{2l\ln (\ln (T))}{T} \end{gathered}$$

前一项衡量的是模型拟合优度，后一项为惩罚函数。${\tilde{\sigma }}_l^2$ 是 ${\sigma }_a^2$ 的最大似然估计。

参数估计

在给定前 $p$ 个观测值的前提下，我们有
$$r_t={\varphi }_0+{\varphi }_1{r}_{t-1}+\cdots +{\varphi }_p{r}_{t-p}+a_t,t=p+1,\cdots ,T$$
其中的参数可用最小二乘法估计，记 ${\hat{\varphi }}_i$ 为 ${\varphi }_i$ 的估计，所拟合的模型和对应的残差为
$$\begin{gathered} {\hat{r}}_t={\hat{\varphi }}_0+{\hat{\varphi }}_1{r}_{t-1}+\cdots +{\hat{\varphi }}_p{r}_{t-p} \\ {\hat{a}}_t=r_t-{\hat{r}}_t \\ {\hat{\sigma }}_a^2=\frac{{\sum }_{t=p+1}^T{\hat{a}}_t^2}{T-2p-1} \end{gathered}$$

模型的检验

如果模型是充分的，则其残差序列应是白噪声。残差的样本自相关函数和Ljung-Box统计量可用来检验 ${\hat{a}}_t$ 与一个白噪声的接近程度。

对 AR§ 模型，Ljung-Box统计量 $Q(m)$ 渐进服从自由度为 $m-p$ 的 ${\chi }^2$ 分布，其中 $p$ 是所用模型中AR系数的个数。如果常数项被包括进来，则自由度为 $m-p-1$。

MA模型

MA(1)

$$\begin{gathered} r_t=\mu +a_t-\theta a_{t-1},r_{t-1}=\mu +a_{t-1}-\theta a_{t-2} \\ E(r_t)=\mu \\ Var(r_t)=(1+{\theta }^2){\sigma }_a^2 \\ Cov(r_t,r_{t-1})=-\theta {\sigma }_a^2 \\ Cov(r_t,r_{t-l})=0,l>1 \end{gathered}$$

MA模型总是弱平稳的。

ACF：
$$\begin{gathered} {\rho }_1=\frac{-\theta }{1+{\theta }^2} \\ {p}_l=0,l>1 \end{gathered}$$
ACF是识别一个MA模型的阶的有用工具。

预测：在时间点n： ϝ n = { r n , r n − 1 , …   } \digamma_n=\{r_n,r_{n-1},\dots\} ϝn​={rn​,rn−1​,…}，预测时间点n+l：
$$\begin{gathered} l=1:{\hat{r}}_{n+1}=E(r_{n+1}|{ϝ}_n)=E(\mu +a_{n+1}-\theta a_n|{ϝ}_n)=\mu -\theta a_n \\ {e}_n(1)=a_{n+1} \\ Var(e_n(1))=Var(a_{n+1})={\sigma }_a^2 \end{gathered}$$
多步预测：
$$\begin{gathered} {\hat{r}}_{n+l}=\mu ,l\ge 2 \\ {e}_n(l)=a_{n+l}-\theta a_{n+l-1} \\ Var(e_n(l))=Var(a_{n+l}-\theta a_{n+l-1})=(1+{\theta }^2){\sigma }_a^2 \end{gathered}$$
可逆性：零均值MA(1)模型：
$$\begin{gathered} r_t=a_t-\theta a_{t-1},a_t\sim N(0,{\sigma }^2),i.i.d,a_0=0 \\ {a}_t=r_t+\theta a_{t-1}=r_t+\theta (r_{t-1}+\theta a_{t-2})=r_t+\theta r_{t-1}+{\theta }^2(r_{t-2}+\theta a_{t-3})=\cdots =\sum _{i=0}^{t-1}{\theta }^i{r}_{t-i} \\ {r}_t=a_t-\sum _{i=1}^{t-1}{\theta }^i{r}_{t-i} \end{gathered}$$
可逆性条件：$|\theta |<1$。

{ r 1 , r 2 , ⋯   , r T − 1 , r T } \{r_1,r_2,\cdots,r_{T-1},r_T\} {r1​,r2​,⋯,rT−1​,rT​} 的对数极大似然：
{ a t } t = 1 T , i . i . d , N ( 0 , σ 2 ) ∏ t = 1 T 1 2 π σ exp ⁡ ( − a t 2 2 σ 2 ) = ∏ t = 1 T 1 2 π σ exp ⁡ ( − [ ∑ i = 0 t − 1 θ i r t − i ] 2 2 σ 2 ) → max ⁡ ln ⁡ ( ∏ t = 1 T 1 2 π σ exp ⁡ ( − [ ∑ i = 0 t − 1 θ i r t − i ] 2 2 σ 2 ) ) \{a_t\}^T_{t=1},i.i.d,N(0,\sigma^2)\\\prod_{t=1}^T\frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{a_t^2}{2\sigma^2})=\prod_{t=1}^T\frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{[\sum_{i=0}^{t-1}\theta^ir_{t-i}]^2}{2\sigma^2})\\\to \max\ln(\prod_{t=1}^T\frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{[\sum_{i=0}^{t-1}\theta^ir_{t-i}]^2}{2\sigma^2})) {at​}t=1T​,i.i.d,N(0,σ2)t=1∏T​2π ​σ1​exp(−2σ2at2​​)=t=1∏T​2π ​σ1​exp(−2σ2[∑i=0t−1​θirt−i​]2​)→maxln(t=1∏T​2π ​σ1​exp(−2σ2[∑i=0t−1​θirt−i​]2​))

MA(2)

$$\begin{gathered} r_t=\mu +a_t-{\theta }_1{a}_{t-1}-{\theta }_2{a}_{t-2}=\mu +(1-{\theta }_{1}B-{\theta }_2{B}^2)a_t \\ E(r_t)=\mu \\ Var(r_t)=(1+{\theta }_1^2+{\theta }_2^2){\sigma }_a^2 \end{gathered}$$

ACF：
$${\rho }_1=\frac{-{\theta }_1+{\theta }_1{\theta }_2}{1+{\theta }_1^2+{\theta }_2^2},{\rho }_2=\frac{-{\theta }_2}{1+{\theta }_1^2+{\theta }_2^2},{\rho }_l=0,l>2$$

可逆性：使 $1-{\theta }_{1}x-{\theta }_2{x}^2=0$ 的两个解 $|x_1|>1,|x_2|>1$。

MA(q)

$$\begin{gathered} r_t=\mu +a_t-{\theta }_1{a}_{t-1}-{\theta }_2{a}_{t-2}-\cdots -{\theta }_q{a}_{t-q}=\mu +(1-{\theta }_{1}B-{\theta }_2{B}^2-\cdots -{\theta }_q{B}^q)a_t,q>0 \\ E(r_t)=\mu \\ Var(r_t)=(1+{\theta }_1^2+{\theta }_2^2+\cdots +{\theta }_q^2){\sigma }_a^2 \\ {r}_s=\{\begin{array}{l}(-{\theta }_s+{\theta }_{s+1}{\theta }_1+{\theta }_{s+2}{\theta }_2+\cdots +{\theta }_q{\theta }_{q-s}){\sigma }_a^2,s\le q\\ 0,s>q\end{array} \end{gathered}$$

可逆性：使 $1-{\theta }_{1}x-{\theta }_2{x}^2-\cdots -{\theta }_q{x}^q=0$ 的所有解绝对值都大于一。

估计

通常用最大似然法。有两种方法求MA模型的似然函数。第一种是假设初始的“扰动”（即 $a_t,t\le 0$）都是0，由 $a_1=r_1-\mu ,a_2=r_2-\mu +{\theta }_1{a}_1,\cdots$，可递推得到计算似然函数所需要的“扰动”，称为条件似然法，所得的估计是条件似然最大估计。第二种方法是把初始“扰动” $a_t(t\le 0)$ 当做模型的附加参数与其他参数一起估计起来，这种方法称为精确似然法。精确似然估计优于条件似然估计。

模型检验和预测

模型检验：检验残差序列（是否为白噪声）

预测，用 { a t } ^ \hat{\{a_t\}} {at​}^​ 来代替模型中的 { a t } \{a_t\} {at​}。

ARMA模型

ARMA(1)

$$\begin{gathered} r_t={\varphi }_0+{\varphi }_1{r}_{t-1}+a_t-{\theta }_1{a}_{t-1} \\ (1-{\varphi }_{1}B)r_t={\varphi }_0+(1-{\theta }_{1}B)a_t \\ E(r_t)=\frac{{\varphi }_0}{1-{\varphi }_1} \end{gathered}$$

其中 { a t } \{a_t\} {at​} 是一个白噪声序列。

平稳性：与AR(1)相同。

可逆性：与MA(1)相同。
$$\begin{gathered} Cov(r_t,a_t)={\sigma }_a^2 \\ Var(r_t)=Var({\varphi }_1{r}_{t-1}+a_t-{\theta }_1{a}_{t-1})={\varphi }_1^{2}Var(r_{t-1})-2{\varphi }_1{\theta }_1{\sigma }_a^2+(1+{\theta }_1^2){\sigma }_a^2 \\ Var(r_t)=\frac{(1-2{\varphi }_1{\theta }_1+{\theta }_1^2){\sigma }_a^2}{1-{\varphi }_1^2} \end{gathered}$$
ACF：假设 ${\varphi }_0=0$
$$\begin{gathered} {\gamma }_1=E(r_t{r}_{t-1})={\varphi }_{1}E(r_{t-1}^2)-{\theta }_{1}E(a_{t-1}{r}_{t-1}) \\ {\gamma }_1={\varphi }_{1}Var(r_{t-1})-{\theta }_1{\sigma }_a^2 \\ {\rho }_1={\varphi }_1-\frac{{\theta }_1{\sigma }_a^2}{{\gamma }_0} \\ l>1:{\gamma }_l=E(r_t{r}_{t-l})={\varphi }_{1}E(r_{t-1}{r}_{t-l}) \\ {\gamma }_l={\varphi }_1{\gamma }_{l-1} \\ {\rho }_l={\varphi }_1{\rho }_{l-1} \end{gathered}$$
ARMA(1,1)模型的ACF不能在任意有限间隔后截尾，PACF也不能在有限间隔后截尾，指数衰减均从间隔2开始。

ARMA(p,q)

$$\begin{gathered} r_t={\varphi }_0+\sum _{i=1}^p{\varphi }_i{r}_{t-i}+a_t-\sum _{i=1}^q{\theta }_i{a}_{t-i} \\ (1-{\varphi }_{1}B-\cdots -{\varphi }_p{B}^p)r_t={\varphi }_0+(1-{\theta }_{1}B-\cdots -{\theta }_q{B}^q)a_t \end{gathered}$$

其中 { a t } \{a_t\} {at​} 是白噪声序列，$p,q$没有公因子。

平稳性：与AR§相同。

可逆性：与MA(q)相同。
$$E(r_t)=\frac{{\varphi }_0}{1-{\varphi }_1-\cdots -{\varphi }_p}$$

识别、估计和检验

识别：用AIC、BIC、HQIC。

估计：用条件极大似然估计法或精确极大似然估计法。

模型检验：检验残差项是否为白噪声。如果模型是正确的，Ljung-Box统计量 $Q(m)$ 渐进服从自由度为 $m-g$ 的 ${\chi }^2$ 分布，其中 $g$ 是所用模型中AR或MA系数的个数。如果常数项被包括进来，则自由度为 $m-g-1$。

预测

只要将MA部分对低步数预测的影响进行调整后，ARMA(p,q)模型的预测就会与AR§模型的预测有相似特征。设预测原点为 $h$，${ϝ}_h$ 为在 $h$ 时刻所能得到的信息集合，$r_{h+1}$ 的向前一步预测为：
$$\begin{gathered} {\hat{r}}_{h+1}=E(r_{h+1}|{ϝ}_h)={\varphi }_0+\sum _{i=1}^p{\varphi }_i{r}_{h+1-i}-\sum _{i=1}^q{\theta }_i{a}_{h+1-i} \\ {e}_{h+1}=r_{h+1}-{\hat{r}}_{h+1}=a_{h+1} \\ Var(e_{h+1})={\sigma }_a^2 \end{gathered}$$
对于向前 $l$ 步预测：
$${\hat{r}}_{h+l}=E(r_{h+l}|{ϝ}_h)={\varphi }_0+\sum _{i=1}^p{\varphi }_i{\hat{r}}_{h+l-i}-\sum _{i=1}^q{\theta }_i{a}_{h+l-i}$$
其中，当 $l-i\le 0$ 时，${\hat{r}}_{h+l-i}=r_{h+l-i}$；当 $l-i>0$ 时，$a_{h+l-i}=0$；当 $l-i\le 0$ 时，$a_{h+l-i}=a_{h+l-i}$。

ARMA模型的另两种表示

给定两个多项式：
$$\varphi (B)=1-\sum _{i=1}^p{\varphi }_i{B}^i,\theta (B)=1-\sum _{i=1}^q{\theta }_i{B}^i$$
有：
$$\begin{gathered} \frac{\theta (B)}{\varphi (B)}=1+{\psi }_{1}B+{\psi }_2{B}^2+\cdots \equiv \psi (B) \\ \frac{\varphi (B)}{\theta (B)}=1-{\pi }_{1}B-{\pi }_2{B}^2-\cdots \equiv \pi (B) \end{gathered}$$
AR表示：
$$r_t=\frac{{\varphi }_0}{1-{\theta }_1-\cdots -{\theta }_q}+{\pi }_1{r}_{t-1}+{\pi }_2{r}_{t-2}+{\pi }_3{r}_{t-3}+\cdots +a_t$$
这个表示给出了当前收益率 $r_t$ 对过去收益率 $r_{t-i},i>0$ 的依赖关系。

MA表示：
$$\begin{gathered} r_t=\mu +a_t+{\psi }_1{a}_{t-1}+{\psi }_2{a}_{t-2}+\cdots =\mu +\psi (B)a_t \\ \mu =E(r_t)=\frac{{\varphi }_0}{1-{\varphi }_1-\cdots -{\varphi }_p} \end{gathered}$$
这个表示说明了过去的“扰动” $a_{t-i},i>0$ 对当前收益 $r_t$ 的影响。

样本外预测

例：如果 { r t } \{r_t\} {rt​} 包含150个观测点，运用前100个观测点去估计AR(1)和MA(1)并分别去预测 $r_{100+1}$。将这两组预测记为 $f_{11},f_{21}$，将这两组的预测误差记为 $e_{11},e_{21}$。
$$e_{11}=r_{101}-f_{11},e_{21}=r_{101}-f_{21}$$
运用前101个观测点重新估计AR(1)和MA(1)，将两组预测记为 $f_{12},f_{22}$，获得另外两个预测误差。
$$e_{12}=r_{102}-f_{12},e_{22}=r_{102}-f_{22}$$
继续运用这个方法获得两组一步向前预测误差—— { e 1 j } j = 1 50 , { e 2 j } j = 1 50 \{e_{1j}\}_{j=1}^{50},\{e_{2j}\}_{j=1}^{50} {e1j​}j=150​,{e2j​}j=150​，每组包含50个观测值。

Mean Square Prediction Error(MSPE)

如果有 $H$ 个观测，MSPE可以表示为：
$$MSPE=\frac{1}{H}\sum _{j=1}^H{e}_j^2$$

Granger-Newbold检验

我们比较两个模型的预测误差。

假设：

1. 预测误差是零均值的，且为正态分布
2. 预测误差是序列不相关的

构造：
$$x_j=e_{1j}+e_{2j},z_j=e_{1j}-e_{2j},j=1,\cdots ,H$$
则：
$${\gamma }_{xz}=cov(x,z)=cov(e_{1j}+e_{2j},e_{1j}-e_{2j})=E(e_{1j}^2-e_{2j}^2)$$
在两个模型预测精度相等的零假设下， { x j } 、 { z j } \{x_j\}、\{z_j\} {xj​}、{zj​} 是不相关的，即 ${\gamma }_{xz}=0$。

如果 ${\gamma }_{xz}>0$，第一个模型有更大的MSPE。

如果 ${\gamma }_{xz}<0$，第二个模型有更大的MSPE。

令 ${\hat{\rho }}_{xz}$ 表示 { x j } 、 { z j } \{x_j\}、\{z_j\} {xj​}、{zj​} 的样本相关系数，假设1、2支持：
$$\frac{{\hat{\rho }}_{xz}}{\sqrt{(1-{\hat{\rho }}_{xz}^2)/(H-1)}}\sim t_{H-1}$$
$H_0:{\rho }_{xz}=0;H_1:{\rho }_{xz}>0or{H}_1:{\rho }_{xz}<0$

存在的问题：真实的数据通常不满足假设1、2。

Diebold-Mariano检验

令时刻 $j$ 的预测误差的损失函数为 $g(e_j)$。在均方误差形式下，损失为 $e_j^2$。

可以写出损失差 $d_j=g(e_{1j})-g(e_{2j})$，平均损失差可表示为：
$$\bar{d}=\frac{1}{H}\sum _{j=1}^H[g(e_{1j})-g(e_{2j})]$$
$H_0:预测精度相同;H_1:模型1更好(E(\bar{d})<0)or{H}_1:模型2更好(E(\bar{d})>0)$

在相等的预测精度的零假设下，有：$E(\bar{d})=E(d_j)=0$

在零假设下，中心极限定理表明，$\bar{d}$ 服从均值为0,、方差为 $var(\bar{d})$ 的正态分布。

1. 如果 { d j } \{d_j\} {dj​} 序列不相关，样本方差为 $\hat{\gamma }$，$var(\bar{d})$ 的估计值为 $\frac{\hat{\gamma }}{H-1}$：
   $$\frac{\bar{d}}{\sqrt{\hat{\gamma }/(H-1)}}{\to }^{d}N(0,1),H\to \infty$$

2. 如果 { d j } \{d_j\} {dj​} 序列相关，例如：Newey-West方差估计值：
   $$\frac{\bar{d}}{\sqrt{\widehat{var(\bar{d})}}}{\to }^{d}N(0,1),H\to \infty$$
   其中 $\widehat{var(\bar{d})}$ 是 $var(\bar{d})$ 是准确估计。