文章目录
线性时间序列模型——单变量时间序列
平稳性
平稳性是时间序列分析的基础。
严平稳
严平稳:分布是时不变的,即对所有的 t t t,任意正整数 k k k 和任意 k k k 个正整数 ( t 1 , ⋯ , t k ) (t_1,\cdots,t_k) (t1,⋯,tk), ( r t 1 , ⋯ , r t k ) (r_{t_1},\cdots,r_{t_k}) (rt1,⋯,rtk) 的联合分布与 ( r t 1 + t , ⋯ , r t k + t ) (r_{t_1+t},\cdots,r_{t_k+t}) (rt1+t,⋯,rtk+t) 的联合分布是相同的。
弱平稳
弱平稳:前两个矩是时不变的, r t r_t rt 的均值与 r t r_t rt 和 r t − l r_{t-l} rt−l 的协方差不随时间改变,其中 l l l 是任意整数。
- 对所有的 t t t, E ( r t ) = μ E(r_t)=\mu E(rt)=μ, μ \mu μ 为一个常数。
- 对所有的 t t t, V a r ( r t ) = E [ ( r t − μ ) 2 ] = σ 2 Var(r_t)=E[(r_t-\mu)^2]=\sigma^2 Var(rt)=E[(rt−μ)2]=σ2。
- 对所有的 t t t, γ k = c o v ( r t , r t − k ) = E [ ( r t − μ ) ( r t − k − μ ) ] \gamma_k=cov(r_t,r_{t-k})=E[(r_t-\mu)(r_{t-k}-\mu)] γk=cov(rt,rt−k)=E[(rt−μ)(rt−k−μ)], γ k \gamma_k γk 只依赖于 k k k。 γ 0 = V a r ( r t ) , γ − l = γ l \gamma_0=Var(r_t),\gamma_{-l}=\gamma_l γ0=Var(rt),γ−l=γl。
实际中,假定我们有 T T T 个数据观测点 { r t ∣ t = 1 , ⋯ , T } \{r_t|t=1,\cdots,T\} {rt∣t=1,⋯,T},弱平稳性意味着数据的时间图显示 T T T 个值在一个常数水平上下以相同的幅度波动。
自相关函数(ACF)
ρ k = C o v ( r t , r t − k ) V a r ( r t ) = γ k γ 0 ρ 0 = 1 , ρ k = ρ − k , k ≠ 0 , − 1 ≤ ρ k ≤ 1 \rho_k=\frac{Cov(r_t,r_{t-k})}{Var(r_t)}=\frac{\gamma_k}{\gamma_0}\\\rho_0=1,\rho_k=\rho_{-k},k\neq0,-1\leq \rho_k\leq1 ρk=Var(rt)Cov(rt,rt−k)=γ0γkρ0=1,ρk=ρ−k,k=0,−1≤ρk≤1
考虑一个给定的收益率样本
{
r
t
}
t
=
1
T
\{r_t\}^T_{t=1}
{rt}t=1T,
r
ˉ
\bar{r}
rˉ 是样本均值:
ρ
^
k
=
∑
t
=
k
+
1
T
(
r
t
−
r
ˉ
)
(
r
t
−
k
−
r
ˉ
)
∑
t
=
1
T
(
r
t
−
r
ˉ
)
2
,
0
≤
k
<
T
−
1
\hat\rho_k=\frac{\sum_{t=k+1}^T(r_t-\bar{r})(r_{t-k}-\bar{r})}{\sum^T_{t=1}(r_t-\bar{r})^2},0\leq k< T-1
ρ^k=∑t=1T(rt−rˉ)2∑t=k+1T(rt−rˉ)(rt−k−rˉ),0≤k<T−1
事实上,线性时间序列模型可以用其ACF来表征。
若 { r t } \{r_t\} {rt} 是一个独立同分布序列,满足 E ( r t 2 ) < ∞ E(r_t^2)<\infin E(rt2)<∞,则对任意固定的正整数 l l l, ρ ^ l \hat\rho_l ρ^l 渐进服从均值为0,方差为 1 / T 1/T 1/T 的正态分布。
若 { r t } \{r_t\} {rt} 是一个弱平稳序列,满足 r t = μ + ∑ i = 0 q ψ i a t − i , ψ 0 = 1 r_t=\mu+\sum_{i=0}^q\psi_ia_{t-i},\psi_0=1 rt=μ+∑i=0qψiat−i,ψ0=1, { a j } \{a_j\} {aj} 是均值为0的独立同分布任意变量的序列,则对 l > q l>q l>q, ρ ^ l \hat\rho_l ρ^l 渐近地服从均值为0、方差为 ( 1 + 2 ∑ i = 1 q ρ i 2 ) / T (1+2\sum_{i=1}^q\rho_i^2)/T (1+2∑i=1qρi2)/T 的正态分布。
检验单个ACF
对一个给定的正整数 ,可进行检验
H
H
H,检验统计量为:
t
r
a
t
i
o
=
ρ
^
l
(
1
+
2
∑
i
=
1
l
−
1
ρ
i
2
)
/
T
t\ ratio=\frac{\hat\rho_l}{\sqrt{(1+2\sum_{i=1}^{l-1}\rho_i^2)/T}}
t ratio=(1+2∑i=1l−1ρi2)/Tρ^l
如果
{
r
t
}
\{r_t\}
{rt} 是一个平稳高斯序列且满足当
j
>
l
j>l
j>l 时
ρ
l
=
0
\rho_l=0
ρl=0,则
t
r
a
t
i
o
t\ ratio
t ratio 渐进服从均值为0、方差为
(
1
+
2
∑
i
=
1
l
−
1
ρ
i
2
)
/
T
(1+2\sum_{i=1}^{l-1}\rho_i^2)/T
(1+2∑i=1l−1ρi2)/T 的正态分布,
t
r
a
t
i
o
t\ ratio
t ratio 渐进服从标准正态分布。
当 ∣ t r a t i o ∣ > Z α / 2 |t\ ratio|>Z_{\alpha/2} ∣t ratio∣>Zα/2 时拒绝 H 0 H_0 H0,其中 Z α / 2 Z_{\alpha/2} Zα/2 是标准正态分布的 100 ( 1 − α / 2 ) 100(1-\alpha/2) 100(1−α/2) 分位点。
联合检验
H
0
:
ρ
1
=
⋯
=
ρ
m
=
0
H_0:\rho_1=\cdots=\rho_m=0
H0:ρ1=⋯=ρm=0;
H
a
:
H_a:
Ha: 对某
i
∈
{
1
,
⋯
,
m
}
,
ρ
i
≠
0
i\in\{1,\cdots,m\},\rho_i\neq0
i∈{1,⋯,m},ρi=0。
Q
(
m
)
=
T
(
T
+
2
)
∑
l
=
1
m
ρ
^
l
2
T
−
l
Q(m)=T(T+2)\sum_{l=1}^m\frac{\hat\rho_l^2}{T-l}
Q(m)=T(T+2)l=1∑mT−lρ^l2
在
{
r
t
}
\{r_t\}
{rt} 为满足一定矩条件的独立同分布序列的假定下,
Q
(
m
)
Q(m)
Q(m) 渐近服从自由度为
m
m
m 的
χ
2
\chi^2
χ2 分布。
Q
(
m
)
→
χ
m
2
Q(m)\to\chi_m^2
Q(m)→χm2
决策规则:当 Q ( m ) > χ α 2 Q(m)>\chi_{\alpha}^2 Q(m)>χα2 时拒绝 H 0 H_0 H0,其中 χ α 2 \chi_{\alpha}^2 χα2 是自由度为 m m m 的 χ 2 \chi^2 χ2 分布的 100 ( 1 − α ) 100(1-\alpha) 100(1−α) 分位点。
白噪声
{
ε
t
}
\{\varepsilon_t\}
{εt} 为白噪声:
E
(
ε
t
)
=
0
E
(
ε
t
2
)
=
σ
2
E
(
ε
t
ε
τ
)
=
0
,
t
≠
τ
E(\varepsilon_t)=0\\E(\varepsilon_t^2)=\sigma^2\\E(\varepsilon_t\varepsilon_{\tau})=0,t\neq\tau
E(εt)=0E(εt2)=σ2E(εtετ)=0,t=τ
此外,如果
{
ε
t
}
\{\varepsilon_t\}
{εt} 随时间的变化是独立的,则称为独立白噪声。
进一步,如果 { ε t } ∼ N ( 0 , σ 2 ) \{\varepsilon_t\}\sim N(0,\sigma^2) {εt}∼N(0,σ2),则称为高斯白噪声。
线性时间序列
在时间点 t t t:
- 信息集: { r 1 , r 2 , ⋯ , r t − 1 } ≡ ϝ t − 1 \{r_1,r_2,\cdots,r_{t-1}\}\equiv\digamma_{t-1} {r1,r2,⋯,rt−1}≡ϝt−1
- r t = c o n d i t i o n a l m e a n + s h o c k = f u n c t i o n o f e l e m e n t s o f ϝ t − 1 + a t r_t=conditional \ mean + shock=function \ of \ elements \ of \ \digamma_{t-1}+a_t rt=conditional mean+shock=function of elements of ϝt−1+at
给定信息
ϝ
t
−
1
\digamma_{t-1}
ϝt−1:
r
t
=
μ
t
+
a
t
=
E
(
r
t
∣
ϝ
t
−
1
)
+
σ
t
ε
t
r_t=\mu_t+a_t=E(r_t|\digamma_{t-1})+\sigma_t\varepsilon_t
rt=μt+at=E(rt∣ϝt−1)+σtεt
μ
t
\mu_t
μt:
r
t
r_t
rt 的条件均值。
a t a_t at:时刻 t t t 的新息或扰动。
ε t \varepsilon_t εt:独立同分布,均值为0,方差为1。
σ t \sigma_t σt:条件标准误差(波动率)。
在拟合线性时间序列模型之前,我们要测试 μ t \mu_t μt 是否是固定的常数(或: { r t } \{r_t\} {rt} 是否是白噪声),检验方法见上。
如果白噪声假设不被拒绝,则不需要线性时间序列模型!如果白噪声假设被拒绝,我们需要一个线性时间序列模型!
{
r
t
}
\{r_t\}
{rt} 称为线性序列,如果它能写成:
r
t
=
μ
+
∑
i
=
0
∞
ψ
i
a
t
−
i
r_t=\mu+\sum_{i=0}^{\infin}\psi_ia_{t-i}
rt=μ+i=0∑∞ψiat−i
其中
μ
\mu
μ 是
r
t
r_t
rt 的均值,
ψ
0
=
1
\psi_0=1
ψ0=1,
{
a
t
}
\{a_t\}
{at} 是零均值独立同分布的随机变量序列(即为白噪声)。
E
(
r
t
)
=
μ
,
V
a
r
(
r
t
)
=
σ
a
2
∑
i
=
0
∞
ψ
i
2
E(r_t)=\mu,Var(r_t)=\sigma_a^2\sum_{i=0}^{\infin}\psi_i^2
E(rt)=μ,Var(rt)=σa2i=0∑∞ψi2
其中
σ
a
2
\sigma_a^2
σa2 是
a
t
a_t
at 的方差,
{
ψ
i
2
}
\{\psi_i^2\}
{ψi2} 必须是收敛序列,即当
i
→
∞
,
ψ
i
2
→
0
i\to\infin,\psi_i^2\to0
i→∞,ψi2→0。
r
l
=
C
o
v
(
r
t
,
r
t
−
l
)
=
E
[
(
∑
i
=
0
∞
ψ
i
a
t
−
i
)
(
∑
j
=
0
∞
ψ
j
a
t
−
l
−
j
)
]
=
E
(
∑
i
,
j
=
0
∞
ψ
i
ψ
j
a
t
−
i
a
t
−
l
−
j
)
=
∑
j
=
0
∞
ψ
j
+
l
ψ
j
E
(
a
t
−
l
−
j
2
)
=
σ
a
2
∑
j
=
0
∞
ψ
j
ψ
j
+
l
r_l=Cov(r_t,r_{t-l})=E[(\sum_{i=0}^{\infin}\psi_ia_{t-i})(\sum_{j=0}^{\infin}\psi_ja_{t-l-j})]\\=E(\sum_{i,j=0}^{\infin}\psi_i\psi_ja_{t-i}a_{t-l-j})\\=\sum_{j=0}^{\infin}\psi_{j+l}\psi_jE(a_{t-l-j}^2)\\=\sigma_a^2\sum_{j=0}^{\infin}\psi_j\psi_{j+l}
rl=Cov(rt,rt−l)=E[(i=0∑∞ψiat−i)(j=0∑∞ψjat−l−j)]=E(i,j=0∑∞ψiψjat−iat−l−j)=j=0∑∞ψj+lψjE(at−l−j2)=σa2j=0∑∞ψjψj+l
于是有
ρ
l
=
r
l
r
0
=
∑
i
=
0
∞
ψ
i
ψ
i
+
l
∑
i
=
0
∞
ψ
i
2
=
∑
i
=
0
∞
ψ
i
ψ
i
+
l
1
+
∑
i
=
1
∞
ψ
i
2
,
l
≥
0
\rho_l=\frac{r_l}{r_0}=\frac{\sum_{i=0}^{\infin}\psi_i\psi_{i+l}}{\sum_{i=0}^{\infin}\psi_i^2}=\frac{\sum_{i=0}^{\infin}\psi_i\psi_{i+l}}{1+\sum_{i=1}^{\infin}\psi_i^2},l\geq0
ρl=r0rl=∑i=0∞ψi2∑i=0∞ψiψi+l=1+∑i=1∞ψi2∑i=0∞ψiψi+l,l≥0
AR模型
AR(1)
r t = ϕ 0 + ϕ 1 r t − 1 + a t r_t=\phi_0+\phi_1r_{t-1}+a_t rt=ϕ0+ϕ1rt−1+at
{ a t } \{a_t\} {at} 是均值为0、方差为 σ a 2 \sigma_a^2 σa2 的白噪声序列。
通过递推可得: r t = ϕ 0 ∑ i = 0 t − 1 ϕ 1 i + ϕ i t r 0 + ∑ i = 0 t − 1 ϕ 1 i a t − i r_t=\phi_0\sum_{i=0}^{t-1}\phi_1^i+\phi_i^tr_0+\sum_{i=0}^{t-1}\phi_1^ia_{t-i} rt=ϕ0∑i=0t−1ϕ1i+ϕitr0+∑i=0t−1ϕ1iat−i。
若 ϕ 1 = 1 \phi_1=1 ϕ1=1: r t = t ϕ 0 + r 0 + ∑ i = 0 t − 1 a t − i r_t=t\phi_0+r_0+\sum_{i=0}^{t-1}a_{t-i} rt=tϕ0+r0+∑i=0t−1at−i
若
∣
ϕ
1
∣
<
1
|\phi_1|<1
∣ϕ1∣<1:
t
→
∞
,
r
t
→
ϕ
0
1
−
ϕ
1
+
∑
i
=
0
∞
ϕ
1
i
a
t
−
i
,
E
(
r
t
)
=
ϕ
0
1
−
ϕ
1
=
μ
→
ϕ
0
=
μ
(
1
−
ϕ
1
)
→
r
t
−
μ
=
ϕ
1
(
r
t
−
1
−
μ
)
+
a
t
t\to\infin,r_t\to\frac{\phi_0}{1-\phi_1}+\sum_{i=0}^{\infin}\phi_1^ia_{t-i},E(r_t)=\frac{\phi_0}{1-\phi_1}=\mu\to\phi_0=\mu(1-\phi_1)\to r_t-\mu=\phi_1(r_{t-1}-\mu)+a_t
t→∞,rt→1−ϕ1ϕ0+i=0∑∞ϕ1iat−i,E(rt)=1−ϕ1ϕ0=μ→ϕ0=μ(1−ϕ1)→rt−μ=ϕ1(rt−1−μ)+at
模型是弱平稳的充分必要条件是:
∣
ϕ
1
∣
<
1
|\phi_1|<1
∣ϕ1∣<1。
方差:
r
t
=
ϕ
0
+
ϕ
1
r
t
−
1
+
a
t
V
a
r
(
r
t
)
=
ϕ
1
2
V
a
r
(
r
t
−
1
)
+
V
a
r
(
a
t
)
V
a
r
(
r
t
)
=
σ
a
2
1
−
ϕ
1
2
r_t=\phi_0+\phi_1r_{t-1}+a_t\\Var(r_t)=\phi_1^2Var(r_{t-1})+Var(a_t)\\Var(r_t)=\frac{\sigma_a^2}{1-\phi_1^2}
rt=ϕ0+ϕ1rt−1+atVar(rt)=ϕ12Var(rt−1)+Var(at)Var(rt)=1−ϕ12σa2
ACF与相关性:
γ
1
=
C
o
v
(
r
t
,
r
t
−
1
)
=
C
o
v
[
ϕ
0
+
ϕ
1
r
t
−
1
+
a
t
,
r
t
−
1
]
=
ϕ
1
V
a
r
(
r
t
−
1
)
=
ϕ
1
γ
0
γ
k
=
ϕ
1
k
γ
0
ρ
1
=
ϕ
1
,
ρ
k
=
ϕ
1
k
\gamma_1=Cov(r_t,r_{t-1})=Cov[\phi_0+\phi_1r_{t-1}+a_t,r_{t-1}]=\phi_1Var(r_{t-1})=\phi_1\gamma_0\\\gamma_k=\phi_1^k\gamma_0\\\rho_1=\phi_1,\rho_k=\phi_1^k
γ1=Cov(rt,rt−1)=Cov[ϕ0+ϕ1rt−1+at,rt−1]=ϕ1Var(rt−1)=ϕ1γ0γk=ϕ1kγ0ρ1=ϕ1,ρk=ϕ1k
如果是平稳的,ACF会随时间间隔增加呈指数形式减小。
预测:在时间点n:
ϝ
n
=
{
r
n
,
r
n
−
1
,
…
}
\digamma_n=\{r_n,r_{n-1},\dots\}
ϝn={rn,rn−1,…},预测时间点n+l:
r
^
n
+
l
=
arg
min
g
E
[
(
r
n
+
l
−
g
)
2
∣
ϝ
n
]
r
^
n
+
l
=
E
[
r
n
+
l
∣
ϝ
n
]
l
=
1
:
r
^
n
+
1
=
E
[
r
n
+
1
∣
ϝ
n
]
=
E
[
ϕ
0
+
ϕ
1
r
n
+
a
n
+
1
∣
ϝ
n
]
=
ϕ
0
+
ϕ
1
r
n
e
n
(
1
)
=
r
n
+
1
−
r
^
n
+
1
=
a
n
+
1
V
a
r
(
e
n
(
1
)
)
=
V
a
r
(
a
n
+
1
)
=
σ
a
2
l
=
2
:
r
^
n
+
2
=
E
[
r
n
+
2
∣
ϝ
n
]
=
E
[
ϕ
0
+
ϕ
1
r
n
+
1
+
a
n
+
2
∣
ϝ
n
]
=
E
[
ϕ
0
+
ϕ
0
ϕ
1
+
ϕ
1
2
r
n
+
ϕ
1
a
n
+
1
+
a
n
+
2
∣
ϝ
n
]
=
ϕ
0
+
ϕ
0
ϕ
1
+
ϕ
1
2
r
n
e
n
(
2
)
=
r
n
+
2
−
r
^
n
+
2
=
a
n
+
2
+
ϕ
1
a
n
+
1
V
a
r
(
e
n
(
2
)
)
=
V
a
r
(
a
n
+
2
+
ϕ
1
a
n
+
1
)
=
(
1
+
ϕ
1
2
)
σ
a
2
\hat r_{n+l}=\arg\min_g E[(r_{n+l}-g)^2|\digamma_n]\\\hat r_{n+l}=E[r_{n+l}|\digamma_n]\\l=1:\hat r_{n+1}=E[r_{n+1}|\digamma_n]=E[\phi_0+\phi_1r_n+a_{n+1}|\digamma_n]=\phi_0+\phi_1r_n\\e_n(1)=r_{n+1}-\hat r_{n+1}=a_{n+1}\\Var(e_n(1))=Var(a_{n+1})=\sigma_a^2\\l=2:\hat r_{n+2}=E[r_{n+2}|\digamma_n]=E[\phi_0+\phi_1r_{n+1}+a_{n+2}|\digamma_n]\\=E[\phi_0+\phi_0\phi_1+\phi_1^2r_n+\phi_1a_{n+1}+a_{n+2}|\digamma_n]=\phi_0+\phi_0\phi_1+\phi_1^2r_n\\e_n(2)=r_{n+2}-\hat r_{n+2}=a_{n+2}+\phi_1a_{n+1}\\Var(e_n(2))=Var(a_{n+2}+\phi_1a_{n+1})=(1+\phi_1^2)\sigma_a^2
r^n+l=arggminE[(rn+l−g)2∣ϝn]r^n+l=E[rn+l∣ϝn]l=1:r^n+1=E[rn+1∣ϝn]=E[ϕ0+ϕ1rn+an+1∣ϝn]=ϕ0+ϕ1rnen(1)=rn+1−r^n+1=an+1Var(en(1))=Var(an+1)=σa2l=2:r^n+2=E[rn+2∣ϝn]=E[ϕ0+ϕ1rn+1+an+2∣ϝn]=E[ϕ0+ϕ0ϕ1+ϕ12rn+ϕ1an+1+an+2∣ϝn]=ϕ0+ϕ0ϕ1+ϕ12rnen(2)=rn+2−r^n+2=an+2+ϕ1an+1Var(en(2))=Var(an+2+ϕ1an+1)=(1+ϕ12)σa2
对于一般的
l
l
l:
r
^
n
+
l
=
ϕ
0
∑
i
=
0
l
−
1
ϕ
1
i
+
ϕ
1
l
r
n
e
n
(
l
)
=
∑
i
=
0
l
−
1
ϕ
1
i
a
n
+
l
−
i
V
a
r
(
e
n
(
l
)
)
=
σ
a
2
∑
i
=
0
l
−
1
ϕ
1
2
i
\hat r_{n+l}=\phi_0\sum_{i=0}^{l-1}\phi_1^i+\phi_1^lr_n\\e_n(l)=\sum_{i=0}^{l-1}\phi_1^ia_{n+l-i}\\Var(e_n(l))=\sigma_a^2\sum_{i=0}^{l-1}\phi_1^{2i}
r^n+l=ϕ0i=0∑l−1ϕ1i+ϕ1lrnen(l)=i=0∑l−1ϕ1ian+l−iVar(en(l))=σa2i=0∑l−1ϕ12i
特别的,当
l
→
∞
l\to\infin
l→∞:
r
^
n
+
l
→
μ
=
ϕ
0
1
−
ϕ
1
V
a
r
(
e
n
(
∞
)
)
=
σ
a
2
1
−
ϕ
1
2
=
V
a
r
(
r
t
)
\hat r_{n+l}\to\mu=\frac{\phi_0}{1-\phi_1}\\Var(e_n(\infin))=\frac{\sigma_a^2}{1-\phi_1^2}=Var(r_t)
r^n+l→μ=1−ϕ1ϕ0Var(en(∞))=1−ϕ12σa2=Var(rt)
这种性质称为均值回转(mean-reversion)。
AR(2)
r t = ϕ 0 + ϕ 1 r t − 1 + ϕ 2 r t − 2 + a t → ( 1 − ϕ 1 B − ϕ 2 B 2 ) r t = ϕ 0 + a t E ( r t ) = ϕ 0 1 − ϕ 1 − ϕ 2 A C F : ρ 0 = 1 , ρ 1 = ϕ 1 1 − ϕ 2 ρ k = ϕ 1 ρ k − 1 + ϕ 2 ρ k − 2 , k ≥ 2 r_t=\phi_0+\phi_1r_{t-1}+\phi_2r_{t-2}+a_t\to(1-\phi_1B-\phi_2B^2)r_t=\phi_0+a_t\\E(r_t)=\frac{\phi_0}{1-\phi_1-\phi_2}\\ACF:\rho_0=1,\rho_1=\frac{\phi_1}{1-\phi_2}\\\rho_k=\phi_1\rho_{k-1}+\phi_2\rho_{k-2},k\geq2 rt=ϕ0+ϕ1rt−1+ϕ2rt−2+at→(1−ϕ1B−ϕ2B2)rt=ϕ0+atE(rt)=1−ϕ1−ϕ2ϕ0ACF:ρ0=1,ρ1=1−ϕ2ϕ1ρk=ϕ1ρk−1+ϕ2ρk−2,k≥2
平稳条件:使得方程
1
−
ϕ
1
x
−
ϕ
2
x
2
=
0
1-\phi_1x-\phi_2x^2=0
1−ϕ1x−ϕ2x2=0 的根都在单位圆外:
ϕ
1
2
+
4
ϕ
2
>
0
→
x
1
,
x
2
=
ϕ
1
±
ϕ
1
+
4
ϕ
2
−
2
ϕ
2
ϕ
1
2
+
4
ϕ
2
<
0
→
x
1
,
x
2
=
ϕ
1
±
i
ϕ
1
+
4
ϕ
2
−
2
ϕ
2
\phi_1^2+4\phi_2>0\to x_1,x_2=\frac{\phi_1\pm\sqrt{\phi_1+4\phi_2}}{-2\phi_2}\\\phi_1^2+4\phi_2<0\to x_1,x_2=\frac{\phi_1\pm i\sqrt{\phi_1+4\phi_2}}{-2\phi_2}
ϕ12+4ϕ2>0→x1,x2=−2ϕ2ϕ1±ϕ1+4ϕ2ϕ12+4ϕ2<0→x1,x2=−2ϕ2ϕ1±iϕ1+4ϕ2
也即AR(2)模型的两个特征根
∣
ω
1
∣
=
∣
1
x
1
∣
<
1
,
∣
ω
2
∣
=
∣
1
x
2
∣
<
1
|\omega_1|=|\frac{1}{x_1}|<1,|\omega_2|=|\frac{1}{x_2}|<1
∣ω1∣=∣x11∣<1,∣ω2∣=∣x21∣<1
-
实值特征根:
( 1 − ω 1 B ) ( 1 − ω 2 B ) r t = ϕ 0 + a t r t = b 0 + ∑ j = 0 ∞ α j a t − j + A 1 ω 1 t + A 2 ω 2 t (1-\omega_1B)(1-\omega_2B)r_t=\phi_0+a_t\\r_t=b_0+\sum_{j=0}^{\infin}\alpha_ja_{t-j}+A_1\omega_1^t+A_2\omega_2^t (1−ω1B)(1−ω2B)rt=ϕ0+atrt=b0+j=0∑∞αjat−j+A1ω1t+A2ω2t -
虚值特征根:
ω 1 , ω 2 = − ϕ 2 ( ϕ 1 2 − ϕ 2 ± − ϕ 1 2 − 4 ϕ 2 2 − ϕ 2 i ) w 1 = γ [ cos θ + i sin θ ] , w 2 = γ [ cos θ − i sin θ ] , k = 2 π θ , θ = arccos [ ϕ 1 2 − ϕ 2 ] r t = b 0 + ∑ j = 0 ∞ α j a t − j + β 1 γ t cos ( θ t + β 2 ) , γ = ∣ w i ∣ \omega_1,\omega_2=\sqrt{-\phi_2}(\frac{\phi_1}{2\sqrt{-\phi_2}}\pm\frac{\sqrt{-\phi_1^2-4\phi_2}}{2\sqrt{-\phi_2}}i)\\w_1=\gamma[\cos\theta+i\sin\theta],w_2=\gamma[\cos\theta-i\sin\theta],k=\frac{2\pi}{\theta},\theta=\arccos[\frac{\phi_1}{2\sqrt{-\phi_2}}]\\r_t=b_0+\sum_{j=0}^{\infin}\alpha_ja_{t-j}+\beta_1\gamma^t\cos(\theta t+\beta_2),\gamma=|w_i| ω1,ω2=−ϕ2(2−ϕ2ϕ1±2−ϕ2−ϕ12−4ϕ2i)w1=γ[cosθ+isinθ],w2=γ[cosθ−isinθ],k=θ2π,θ=arccos[2−ϕ2ϕ1]rt=b0+j=0∑∞αjat−j+β1γtcos(θt+β2),γ=∣wi∣
AR§
r t = ϕ 0 + ϕ 1 r t − 1 + ϕ 2 r t − 2 + ⋯ + ϕ p r t − p + a t ( 1 − ϕ 1 B − ϕ 2 B 2 − ⋯ − ϕ p B p ) r t = ϕ 0 + a t E ( r t ) = ϕ 0 1 − ϕ 1 − ϕ 2 − ⋯ − ϕ p r_t=\phi_0+\phi_1r_{t-1}+\phi_2r_{t-2}+\cdots+\phi_pr_{t-p}+a_t\\(1-\phi_1B-\phi_2B^2-\cdots-\phi_pB^p)r_t=\phi_0+a_t\\E(r_t)=\frac{\phi_0}{1-\phi_1-\phi_2-\cdots-\phi_p} rt=ϕ0+ϕ1rt−1+ϕ2rt−2+⋯+ϕprt−p+at(1−ϕ1B−ϕ2B2−⋯−ϕpBp)rt=ϕ0+atE(rt)=1−ϕ1−ϕ2−⋯−ϕpϕ0
平稳条件:使得方程 1 − ϕ 1 x − ϕ 2 x 2 − ⋯ − ϕ p x p = 0 1-\phi_1x-\phi_2x^2-\cdots-\phi_px^p=0 1−ϕ1x−ϕ2x2−⋯−ϕpxp=0 的根都在单位圆外。
ACF满足:
(
1
−
ϕ
1
B
−
ϕ
2
B
2
−
⋯
−
ϕ
p
B
p
)
p
l
=
0
,
l
>
0
(1-\phi_1B-\phi_2B^2-\cdots-\phi_pB^p)p_l=0,l>0
(1−ϕ1B−ϕ2B2−⋯−ϕpBp)pl=0,l>0
识别AR模型
用PACF
最小二乘估计如下模型:
r
t
=
ϕ
0
,
1
+
ϕ
1
,
1
r
t
−
1
+
e
1
t
r
t
=
ϕ
0
,
2
+
ϕ
1
,
2
r
t
−
1
+
ϕ
2
,
2
r
t
−
2
+
e
2
t
r
t
=
ϕ
0
,
3
+
ϕ
1
,
3
r
t
−
1
+
ϕ
2
,
3
r
t
−
2
+
ϕ
3
,
3
r
t
−
3
+
e
3
t
r
t
=
ϕ
0
,
4
+
ϕ
1
,
4
r
t
−
1
+
ϕ
2
,
4
r
t
−
2
+
ϕ
3
,
4
r
t
−
3
+
ϕ
4
,
4
r
t
−
4
+
e
4
t
r_t=\phi_{0,1}+\phi_{1,1}r_{t-1}+e_{1t}\\r_t=\phi_{0,2}+\phi_{1,2}r_{t-1}+\phi_{2,2}r_{t-2}+e_{2t}\\r_t=\phi_{0,3}+\phi_{1,3}r_{t-1}+\phi_{2,3}r_{t-2}+\phi_{3,3}r_{t-3}+e_{3t}\\r_t=\phi_{0,4}+\phi_{1,4}r_{t-1}+\phi_{2,4}r_{t-2}+\phi_{3,4}r_{t-3}+\phi_{4,4}r_{t-4}+e_{4t}
rt=ϕ0,1+ϕ1,1rt−1+e1trt=ϕ0,2+ϕ1,2rt−1+ϕ2,2rt−2+e2trt=ϕ0,3+ϕ1,3rt−1+ϕ2,3rt−2+ϕ3,3rt−3+e3trt=ϕ0,4+ϕ1,4rt−1+ϕ2,4rt−2+ϕ3,4rt−3+ϕ4,4rt−4+e4t
PACF即为
ϕ
^
p
,
p
\hat\phi_{p,p}
ϕ^p,p。
- 当样本容量 T T T 趋于无穷时, ϕ ^ p , p \hat\phi_{p,p} ϕ^p,p 收敛于 ϕ p \phi_p ϕp。
- 对于 l > p l>p l>p, ϕ ^ l , l \hat\phi_{l,l} ϕ^l,l 收敛于0。
- 对于 l > p l>p l>p, ϕ ^ l , l \hat\phi_{l,l} ϕ^l,l 的渐进方差为 1 / T 1/T 1/T。 ϕ ^ l , l ∼ N ( 0 , 1 T ) \hat\phi_{l,l}\sim N(0,\frac{1}{T}) ϕ^l,l∼N(0,T1)。
信息准则
A I C ( l ) = ln ( σ ~ l 2 ) + 2 l T B I C ( l ) = ln ( σ ~ l 2 ) + l ln ( T ) T H Q I C ( l ) = ln ( σ ~ l 2 ) + 2 l ln ( ln ( T ) ) T AIC(l)=\ln(\tilde\sigma_l^2)+\frac{2l}{T}\\BIC(l)=\ln(\tilde\sigma_l^2)+\frac{l\ln(T)}{T}\\HQIC(l)=\ln(\tilde\sigma_l^2)+\frac{2l\ln(\ln(T))}{T} AIC(l)=ln(σ~l2)+T2lBIC(l)=ln(σ~l2)+Tlln(T)HQIC(l)=ln(σ~l2)+T2lln(ln(T))
前一项衡量的是模型拟合优度,后一项为惩罚函数。 σ ~ l 2 \tilde\sigma_l^2 σ~l2 是 σ a 2 \sigma_a^2 σa2 的最大似然估计。
参数估计
在给定前
p
p
p 个观测值的前提下,我们有
r
t
=
ϕ
0
+
ϕ
1
r
t
−
1
+
⋯
+
ϕ
p
r
t
−
p
+
a
t
,
t
=
p
+
1
,
⋯
,
T
r_t=\phi_0+\phi_1r_{t-1}+\cdots+\phi_pr_{t-p}+a_t,t=p+1,\cdots,T
rt=ϕ0+ϕ1rt−1+⋯+ϕprt−p+at,t=p+1,⋯,T
其中的参数可用最小二乘法估计,记
ϕ
^
i
\hat\phi_i
ϕ^i 为
ϕ
i
\phi_i
ϕi 的估计,所拟合的模型和对应的残差为
r
^
t
=
ϕ
^
0
+
ϕ
^
1
r
t
−
1
+
⋯
+
ϕ
^
p
r
t
−
p
a
^
t
=
r
t
−
r
^
t
σ
^
a
2
=
∑
t
=
p
+
1
T
a
^
t
2
T
−
2
p
−
1
\hat r_t=\hat\phi_0+\hat\phi_1r_{t-1}+\cdots+\hat\phi_pr_{t-p}\\\hat a_t=r_t-\hat r_t\\\hat\sigma_a^2=\frac{\sum_{t=p+1}^T\hat a_t^2}{T-2p-1}
r^t=ϕ^0+ϕ^1rt−1+⋯+ϕ^prt−pa^t=rt−r^tσ^a2=T−2p−1∑t=p+1Ta^t2
模型的检验
如果模型是充分的,则其残差序列应是白噪声。残差的样本自相关函数和Ljung-Box统计量可用来检验 a ^ t \hat a_t a^t 与一个白噪声的接近程度。
对 AR§ 模型,Ljung-Box统计量 Q ( m ) Q(m) Q(m) 渐进服从自由度为 m − p m-p m−p 的 χ 2 \chi^2 χ2 分布,其中 p p p 是所用模型中AR系数的个数。如果常数项被包括进来,则自由度为 m − p − 1 m-p-1 m−p−1。
MA模型
MA(1)
r t = μ + a t − θ a t − 1 , r t − 1 = μ + a t − 1 − θ a t − 2 E ( r t ) = μ V a r ( r t ) = ( 1 + θ 2 ) σ a 2 C o v ( r t , r t − 1 ) = − θ σ a 2 C o v ( r t , r t − l ) = 0 , l > 1 r_t=\mu+a_t-\theta a_{t-1},r_{t-1}=\mu+a_{t-1}-\theta a_{t-2}\\E(r_t)=\mu\\Var(r_t)=(1+\theta^2)\sigma_a^2\\Cov(r_t,r_{t-1})=-\theta\sigma_a^2\\Cov(r_t,r_{t-l})=0,l>1 rt=μ+at−θat−1,rt−1=μ+at−1−θat−2E(rt)=μVar(rt)=(1+θ2)σa2Cov(rt,rt−1)=−θσa2Cov(rt,rt−l)=0,l>1
MA模型总是弱平稳的。
ACF:
ρ
1
=
−
θ
1
+
θ
2
p
l
=
0
,
l
>
1
\rho_1=\frac{-\theta}{1+\theta^2}\\p_l=0,l>1
ρ1=1+θ2−θpl=0,l>1
ACF是识别一个MA模型的阶的有用工具。
预测:在时间点n:
ϝ
n
=
{
r
n
,
r
n
−
1
,
…
}
\digamma_n=\{r_n,r_{n-1},\dots\}
ϝn={rn,rn−1,…},预测时间点n+l:
l
=
1
:
r
^
n
+
1
=
E
(
r
n
+
1
∣
ϝ
n
)
=
E
(
μ
+
a
n
+
1
−
θ
a
n
∣
ϝ
n
)
=
μ
−
θ
a
n
e
n
(
1
)
=
a
n
+
1
V
a
r
(
e
n
(
1
)
)
=
V
a
r
(
a
n
+
1
)
=
σ
a
2
l=1:\hat r_{n+1}=E(r_{n+1}|\digamma_n)=E(\mu+a_{n+1}-\theta a_n|\digamma_n)=\mu-\theta a_n\\e_n(1)=a_{n+1}\\Var(e_n(1))=Var(a_{n+1})=\sigma_a^2
l=1:r^n+1=E(rn+1∣ϝn)=E(μ+an+1−θan∣ϝn)=μ−θanen(1)=an+1Var(en(1))=Var(an+1)=σa2
多步预测:
r
^
n
+
l
=
μ
,
l
≥
2
e
n
(
l
)
=
a
n
+
l
−
θ
a
n
+
l
−
1
V
a
r
(
e
n
(
l
)
)
=
V
a
r
(
a
n
+
l
−
θ
a
n
+
l
−
1
)
=
(
1
+
θ
2
)
σ
a
2
\hat r_{n+l}=\mu,l\geq2\\e_n(l)=a_{n+l}-\theta a_{n+l-1}\\Var(e_n(l))=Var(a_{n+l}-\theta a_{n+l-1})=(1+\theta^2)\sigma_a^2
r^n+l=μ,l≥2en(l)=an+l−θan+l−1Var(en(l))=Var(an+l−θan+l−1)=(1+θ2)σa2
可逆性:零均值MA(1)模型:
r
t
=
a
t
−
θ
a
t
−
1
,
a
t
∼
N
(
0
,
σ
2
)
,
i
.
i
.
d
,
a
0
=
0
a
t
=
r
t
+
θ
a
t
−
1
=
r
t
+
θ
(
r
t
−
1
+
θ
a
t
−
2
)
=
r
t
+
θ
r
t
−
1
+
θ
2
(
r
t
−
2
+
θ
a
t
−
3
)
=
⋯
=
∑
i
=
0
t
−
1
θ
i
r
t
−
i
r
t
=
a
t
−
∑
i
=
1
t
−
1
θ
i
r
t
−
i
r_t=a_t-\theta a_{t-1},a_t\sim N(0,\sigma^2),i.i.d,a_0=0\\a_t=r_t+\theta a_{t-1}=r_t+\theta(r_{t-1}+\theta a_{t-2})=r_t+\theta r_{t-1}+\theta^2(r_{t-2}+\theta a_{t-3})=\cdots=\sum_{i=0}^{t-1}\theta^ir_{t-i}\\r_t=a_t-\sum_{i=1}^{t-1}\theta^ir_{t-i}
rt=at−θat−1,at∼N(0,σ2),i.i.d,a0=0at=rt+θat−1=rt+θ(rt−1+θat−2)=rt+θrt−1+θ2(rt−2+θat−3)=⋯=i=0∑t−1θirt−irt=at−i=1∑t−1θirt−i
可逆性条件:
∣
θ
∣
<
1
|\theta|<1
∣θ∣<1。
{
r
1
,
r
2
,
⋯
,
r
T
−
1
,
r
T
}
\{r_1,r_2,\cdots,r_{T-1},r_T\}
{r1,r2,⋯,rT−1,rT} 的对数极大似然:
{
a
t
}
t
=
1
T
,
i
.
i
.
d
,
N
(
0
,
σ
2
)
∏
t
=
1
T
1
2
π
σ
exp
(
−
a
t
2
2
σ
2
)
=
∏
t
=
1
T
1
2
π
σ
exp
(
−
[
∑
i
=
0
t
−
1
θ
i
r
t
−
i
]
2
2
σ
2
)
→
max
ln
(
∏
t
=
1
T
1
2
π
σ
exp
(
−
[
∑
i
=
0
t
−
1
θ
i
r
t
−
i
]
2
2
σ
2
)
)
\{a_t\}^T_{t=1},i.i.d,N(0,\sigma^2)\\\prod_{t=1}^T\frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{a_t^2}{2\sigma^2})=\prod_{t=1}^T\frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{[\sum_{i=0}^{t-1}\theta^ir_{t-i}]^2}{2\sigma^2})\\\to \max\ln(\prod_{t=1}^T\frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{[\sum_{i=0}^{t-1}\theta^ir_{t-i}]^2}{2\sigma^2}))
{at}t=1T,i.i.d,N(0,σ2)t=1∏T2πσ1exp(−2σ2at2)=t=1∏T2πσ1exp(−2σ2[∑i=0t−1θirt−i]2)→maxln(t=1∏T2πσ1exp(−2σ2[∑i=0t−1θirt−i]2))
MA(2)
r t = μ + a t − θ 1 a t − 1 − θ 2 a t − 2 = μ + ( 1 − θ 1 B − θ 2 B 2 ) a t E ( r t ) = μ V a r ( r t ) = ( 1 + θ 1 2 + θ 2 2 ) σ a 2 r_t=\mu+a_t-\theta_1a_{t-1}-\theta_2a_{t-2}=\mu+(1-\theta_1B-\theta_2B^2)a_t\\E(r_t)=\mu\\Var(r_t)=(1+\theta_1^2+\theta_2^2)\sigma_a^2 rt=μ+at−θ1at−1−θ2at−2=μ+(1−θ1B−θ2B2)atE(rt)=μVar(rt)=(1+θ12+θ22)σa2
ACF:
ρ
1
=
−
θ
1
+
θ
1
θ
2
1
+
θ
1
2
+
θ
2
2
,
ρ
2
=
−
θ
2
1
+
θ
1
2
+
θ
2
2
,
ρ
l
=
0
,
l
>
2
\rho_1=\frac{-\theta_1+\theta_1\theta_2}{1+\theta_1^2+\theta_2^2},\rho_2=\frac{-\theta_2}{1+\theta_1^2+\theta_2^2},\rho_l=0,l>2
ρ1=1+θ12+θ22−θ1+θ1θ2,ρ2=1+θ12+θ22−θ2,ρl=0,l>2
可逆性:使 1 − θ 1 x − θ 2 x 2 = 0 1-\theta_1x-\theta_2x^2=0 1−θ1x−θ2x2=0 的两个解 ∣ x 1 ∣ > 1 , ∣ x 2 ∣ > 1 |x_1|>1,|x_2|>1 ∣x1∣>1,∣x2∣>1。
MA(q)
r t = μ + a t − θ 1 a t − 1 − θ 2 a t − 2 − ⋯ − θ q a t − q = μ + ( 1 − θ 1 B − θ 2 B 2 − ⋯ − θ q B q ) a t , q > 0 E ( r t ) = μ V a r ( r t ) = ( 1 + θ 1 2 + θ 2 2 + ⋯ + θ q 2 ) σ a 2 r s = { ( − θ s + θ s + 1 θ 1 + θ s + 2 θ 2 + ⋯ + θ q θ q − s ) σ a 2 , s ≤ q 0 , s > q r_t=\mu+a_t-\theta_1a_{t-1}-\theta_2a_{t-2}-\cdots-\theta_qa_{t-q}=\mu+(1-\theta_1B-\theta_2B^2-\cdots-\theta_qB^q)a_t,q>0\\E(r_t)=\mu\\Var(r_t)=(1+\theta_1^2+\theta_2^2+\cdots+\theta_q^2)\sigma_a^2\\r_s=\begin{cases}(-\theta_s+\theta_{s+1}\theta_1+\theta_{s+2}\theta_2+\cdots+\theta_q\theta_{q-s})\sigma_a^2,s\leq q\\0,s>q\end{cases} rt=μ+at−θ1at−1−θ2at−2−⋯−θqat−q=μ+(1−θ1B−θ2B2−⋯−θqBq)at,q>0E(rt)=μVar(rt)=(1+θ12+θ22+⋯+θq2)σa2rs={(−θs+θs+1θ1+θs+2θ2+⋯+θqθq−s)σa2,s≤q0,s>q
可逆性:使 1 − θ 1 x − θ 2 x 2 − ⋯ − θ q x q = 0 1-\theta_1x-\theta_2x^2-\cdots-\theta_qx^q=0 1−θ1x−θ2x2−⋯−θqxq=0 的所有解绝对值都大于一。
估计
通常用最大似然法。有两种方法求MA模型的似然函数。第一种是假设初始的“扰动”(即 a t , t ≤ 0 a_t,t\leq0 at,t≤0)都是0,由 a 1 = r 1 − μ , a 2 = r 2 − μ + θ 1 a 1 , ⋯ a_1=r_1-\mu,a_2=r_2-\mu+\theta_1a_1,\cdots a1=r1−μ,a2=r2−μ+θ1a1,⋯,可递推得到计算似然函数所需要的“扰动”,称为条件似然法,所得的估计是条件似然最大估计。第二种方法是把初始“扰动” a t ( t ≤ 0 ) a_t(t\leq0) at(t≤0) 当做模型的附加参数与其他参数一起估计起来,这种方法称为精确似然法。精确似然估计优于条件似然估计。
模型检验和预测
模型检验:检验残差序列(是否为白噪声)
预测,用 { a t } ^ \hat{\{a_t\}} {at}^ 来代替模型中的 { a t } \{a_t\} {at}。
ARMA模型
ARMA(1)
r t = ϕ 0 + ϕ 1 r t − 1 + a t − θ 1 a t − 1 ( 1 − ϕ 1 B ) r t = ϕ 0 + ( 1 − θ 1 B ) a t E ( r t ) = ϕ 0 1 − ϕ 1 r_t=\phi_0+\phi_1r_{t-1}+a_t-\theta_1a_{t-1}\\(1-\phi_1B)r_t=\phi_0+(1-\theta_1B)a_t\\E(r_t)=\frac{\phi_0}{1-\phi_1} rt=ϕ0+ϕ1rt−1+at−θ1at−1(1−ϕ1B)rt=ϕ0+(1−θ1B)atE(rt)=1−ϕ1ϕ0
其中 { a t } \{a_t\} {at} 是一个白噪声序列。
平稳性:与AR(1)相同。
可逆性:与MA(1)相同。
C
o
v
(
r
t
,
a
t
)
=
σ
a
2
V
a
r
(
r
t
)
=
V
a
r
(
ϕ
1
r
t
−
1
+
a
t
−
θ
1
a
t
−
1
)
=
ϕ
1
2
V
a
r
(
r
t
−
1
)
−
2
ϕ
1
θ
1
σ
a
2
+
(
1
+
θ
1
2
)
σ
a
2
V
a
r
(
r
t
)
=
(
1
−
2
ϕ
1
θ
1
+
θ
1
2
)
σ
a
2
1
−
ϕ
1
2
Cov(r_t,a_t)=\sigma_a^2\\ Var(r_t)=Var(\phi_1r_{t-1}+a_t-\theta_1a_{t-1})=\phi_1^2Var(r_{t-1})-2\phi_1\theta_1\sigma_a^2+(1+\theta_1^2)\sigma_a^2\\Var(r_t)=\frac{(1-2\phi_1\theta_1+\theta_1^2)\sigma_a^2}{1-\phi_1^2}
Cov(rt,at)=σa2Var(rt)=Var(ϕ1rt−1+at−θ1at−1)=ϕ12Var(rt−1)−2ϕ1θ1σa2+(1+θ12)σa2Var(rt)=1−ϕ12(1−2ϕ1θ1+θ12)σa2
ACF:假设
ϕ
0
=
0
\phi_0=0
ϕ0=0
γ
1
=
E
(
r
t
r
t
−
1
)
=
ϕ
1
E
(
r
t
−
1
2
)
−
θ
1
E
(
a
t
−
1
r
t
−
1
)
γ
1
=
ϕ
1
V
a
r
(
r
t
−
1
)
−
θ
1
σ
a
2
ρ
1
=
ϕ
1
−
θ
1
σ
a
2
γ
0
l
>
1
:
γ
l
=
E
(
r
t
r
t
−
l
)
=
ϕ
1
E
(
r
t
−
1
r
t
−
l
)
γ
l
=
ϕ
1
γ
l
−
1
ρ
l
=
ϕ
1
ρ
l
−
1
\gamma_1=E(r_tr_{t-1})=\phi_1E(r_{t-1}^2)-\theta_1E(a_{t-1}r_{t-1})\\\gamma_1=\phi_1Var(r_{t-1})-\theta_1\sigma_a^2\\\rho_1=\phi_1-\frac{\theta_1\sigma_a^2}{\gamma_0}\\l>1:\gamma_l=E(r_tr_{t-l})=\phi_1E(r_{t-1}r_{t-l})\\\gamma_l=\phi_1\gamma_{l-1}\\\rho_l=\phi_1\rho_{l-1}
γ1=E(rtrt−1)=ϕ1E(rt−12)−θ1E(at−1rt−1)γ1=ϕ1Var(rt−1)−θ1σa2ρ1=ϕ1−γ0θ1σa2l>1:γl=E(rtrt−l)=ϕ1E(rt−1rt−l)γl=ϕ1γl−1ρl=ϕ1ρl−1
ARMA(1,1)模型的ACF不能在任意有限间隔后截尾,PACF也不能在有限间隔后截尾,指数衰减均从间隔2开始。
ARMA(p,q)
r t = ϕ 0 + ∑ i = 1 p ϕ i r t − i + a t − ∑ i = 1 q θ i a t − i ( 1 − ϕ 1 B − ⋯ − ϕ p B p ) r t = ϕ 0 + ( 1 − θ 1 B − ⋯ − θ q B q ) a t r_t=\phi_0+\sum_{i=1}^p\phi_ir_{t-i}+a_t-\sum_{i=1}^q\theta_ia_{t-i}\\(1-\phi_1B-\cdots-\phi_pB^p)r_t=\phi_0+(1-\theta_1B-\cdots-\theta_qB^q)a_t rt=ϕ0+i=1∑pϕirt−i+at−i=1∑qθiat−i(1−ϕ1B−⋯−ϕpBp)rt=ϕ0+(1−θ1B−⋯−θqBq)at
其中 { a t } \{a_t\} {at} 是白噪声序列, p , q p,q p,q没有公因子。
平稳性:与AR§相同。
可逆性:与MA(q)相同。
E
(
r
t
)
=
ϕ
0
1
−
ϕ
1
−
⋯
−
ϕ
p
E(r_t)=\frac{\phi_0}{1-\phi_1-\cdots-\phi_p}
E(rt)=1−ϕ1−⋯−ϕpϕ0
识别、估计和检验
识别:用AIC、BIC、HQIC。
估计:用条件极大似然估计法或精确极大似然估计法。
模型检验:检验残差项是否为白噪声。如果模型是正确的,Ljung-Box统计量 Q ( m ) Q(m) Q(m) 渐进服从自由度为 m − g m-g m−g 的 χ 2 \chi^2 χ2 分布,其中 g g g 是所用模型中AR或MA系数的个数。如果常数项被包括进来,则自由度为 m − g − 1 m-g-1 m−g−1。
预测
只要将MA部分对低步数预测的影响进行调整后,ARMA(p,q)模型的预测就会与AR§模型的预测有相似特征。设预测原点为
h
h
h,
ϝ
h
\digamma_h
ϝh 为在
h
h
h 时刻所能得到的信息集合,
r
h
+
1
r_{h+1}
rh+1 的向前一步预测为:
r
^
h
+
1
=
E
(
r
h
+
1
∣
ϝ
h
)
=
ϕ
0
+
∑
i
=
1
p
ϕ
i
r
h
+
1
−
i
−
∑
i
=
1
q
θ
i
a
h
+
1
−
i
e
h
+
1
=
r
h
+
1
−
r
^
h
+
1
=
a
h
+
1
V
a
r
(
e
h
+
1
)
=
σ
a
2
\hat r_{h+1}=E(r_{h+1}|\digamma_h)=\phi_0+\sum_{i=1}^p\phi_ir_{h+1-i}-\sum_{i=1}^q\theta_ia_{h+1-i}\\e_{h+1}=r_{h+1}-\hat r_{h+1}=a_{h+1}\\Var(e_{h+1})=\sigma_a^2
r^h+1=E(rh+1∣ϝh)=ϕ0+i=1∑pϕirh+1−i−i=1∑qθiah+1−ieh+1=rh+1−r^h+1=ah+1Var(eh+1)=σa2
对于向前
l
l
l 步预测:
r
^
h
+
l
=
E
(
r
h
+
l
∣
ϝ
h
)
=
ϕ
0
+
∑
i
=
1
p
ϕ
i
r
^
h
+
l
−
i
−
∑
i
=
1
q
θ
i
a
h
+
l
−
i
\hat r_{h+l}=E(r_{h+l}|\digamma_{h})=\phi_0+\sum_{i=1}^p\phi_i\hat r_{h+l-i}-\sum_{i=1}^q\theta_ia_{h+l-i}
r^h+l=E(rh+l∣ϝh)=ϕ0+i=1∑pϕir^h+l−i−i=1∑qθiah+l−i
其中,当
l
−
i
≤
0
l-i\leq0
l−i≤0 时,
r
^
h
+
l
−
i
=
r
h
+
l
−
i
\hat r_{h+l-i}=r_{h+l-i}
r^h+l−i=rh+l−i;当
l
−
i
>
0
l-i>0
l−i>0 时,
a
h
+
l
−
i
=
0
a_{h+l-i}=0
ah+l−i=0;当
l
−
i
≤
0
l-i\leq0
l−i≤0 时,
a
h
+
l
−
i
=
a
h
+
l
−
i
a_{h+l-i}=a_{h+l-i}
ah+l−i=ah+l−i。
ARMA模型的另两种表示
给定两个多项式:
ϕ
(
B
)
=
1
−
∑
i
=
1
p
ϕ
i
B
i
,
θ
(
B
)
=
1
−
∑
i
=
1
q
θ
i
B
i
\phi(B)=1-\sum_{i=1}^p\phi_iB^i,\theta(B)=1-\sum_{i=1}^q\theta_iB^i
ϕ(B)=1−i=1∑pϕiBi,θ(B)=1−i=1∑qθiBi
有:
θ
(
B
)
ϕ
(
B
)
=
1
+
ψ
1
B
+
ψ
2
B
2
+
⋯
≡
ψ
(
B
)
ϕ
(
B
)
θ
(
B
)
=
1
−
π
1
B
−
π
2
B
2
−
⋯
≡
π
(
B
)
\frac{\theta(B)}{\phi(B)}=1+\psi_1B+\psi_2B^2+\cdots\equiv\psi(B)\\\frac{\phi(B)}{\theta(B)}=1-\pi_1B-\pi_2B^2-\cdots\equiv\pi(B)
ϕ(B)θ(B)=1+ψ1B+ψ2B2+⋯≡ψ(B)θ(B)ϕ(B)=1−π1B−π2B2−⋯≡π(B)
AR表示:
r
t
=
ϕ
0
1
−
θ
1
−
⋯
−
θ
q
+
π
1
r
t
−
1
+
π
2
r
t
−
2
+
π
3
r
t
−
3
+
⋯
+
a
t
r_t=\frac{\phi_0}{1-\theta_1-\cdots-\theta_q}+\pi_1r_{t-1}+\pi_2r_{t-2}+\pi_3r_{t-3}+\cdots+a_t
rt=1−θ1−⋯−θqϕ0+π1rt−1+π2rt−2+π3rt−3+⋯+at
这个表示给出了当前收益率
r
t
r_t
rt 对过去收益率
r
t
−
i
,
i
>
0
r_{t-i},i>0
rt−i,i>0 的依赖关系。
MA表示:
r
t
=
μ
+
a
t
+
ψ
1
a
t
−
1
+
ψ
2
a
t
−
2
+
⋯
=
μ
+
ψ
(
B
)
a
t
μ
=
E
(
r
t
)
=
ϕ
0
1
−
ϕ
1
−
⋯
−
ϕ
p
r_t=\mu+a_t+\psi_1a_{t-1}+\psi_2a_{t-2}+\cdots=\mu+\psi(B)a_t\\\mu=E(r_t)=\frac{\phi_0}{1-\phi_1-\cdots-\phi_p}
rt=μ+at+ψ1at−1+ψ2at−2+⋯=μ+ψ(B)atμ=E(rt)=1−ϕ1−⋯−ϕpϕ0
这个表示说明了过去的“扰动”
a
t
−
i
,
i
>
0
a_{t-i},i>0
at−i,i>0 对当前收益
r
t
r_t
rt 的影响。
样本外预测
例:如果
{
r
t
}
\{r_t\}
{rt} 包含150个观测点,运用前100个观测点去估计AR(1)和MA(1)并分别去预测
r
100
+
1
r_{100+1}
r100+1。将这两组预测记为
f
11
,
f
21
f_{11},f_{21}
f11,f21,将这两组的预测误差记为
e
11
,
e
21
e_{11},e_{21}
e11,e21。
e
11
=
r
101
−
f
11
,
e
21
=
r
101
−
f
21
e_{11}=r_{101}-f_{11},e_{21}=r_{101}-f_{21}
e11=r101−f11,e21=r101−f21
运用前101个观测点重新估计AR(1)和MA(1),将两组预测记为
f
12
,
f
22
f_{12},f_{22}
f12,f22,获得另外两个预测误差。
e
12
=
r
102
−
f
12
,
e
22
=
r
102
−
f
22
e_{12}=r_{102}-f_{12},e_{22}=r_{102}-f_{22}
e12=r102−f12,e22=r102−f22
继续运用这个方法获得两组一步向前预测误差——
{
e
1
j
}
j
=
1
50
,
{
e
2
j
}
j
=
1
50
\{e_{1j}\}_{j=1}^{50},\{e_{2j}\}_{j=1}^{50}
{e1j}j=150,{e2j}j=150,每组包含50个观测值。
Mean Square Prediction Error(MSPE)
如果有
H
H
H 个观测,MSPE可以表示为:
M
S
P
E
=
1
H
∑
j
=
1
H
e
j
2
MSPE=\frac{1}{H}\sum_{j=1}^He_j^2
MSPE=H1j=1∑Hej2
Granger-Newbold检验
我们比较两个模型的预测误差。
假设:
- 预测误差是零均值的,且为正态分布
- 预测误差是序列不相关的
构造:
x
j
=
e
1
j
+
e
2
j
,
z
j
=
e
1
j
−
e
2
j
,
j
=
1
,
⋯
,
H
x_j=e_{1j}+e_{2j},z_j=e_{1j}-e_{2j},j=1,\cdots,H
xj=e1j+e2j,zj=e1j−e2j,j=1,⋯,H
则:
γ
x
z
=
c
o
v
(
x
,
z
)
=
c
o
v
(
e
1
j
+
e
2
j
,
e
1
j
−
e
2
j
)
=
E
(
e
1
j
2
−
e
2
j
2
)
\gamma_{xz}=cov(x,z)=cov(e_{1j}+e_{2j},e_{1j}-e_{2j})=E(e_{1j}^2-e_{2j}^2)
γxz=cov(x,z)=cov(e1j+e2j,e1j−e2j)=E(e1j2−e2j2)
在两个模型预测精度相等的零假设下,
{
x
j
}
、
{
z
j
}
\{x_j\}、\{z_j\}
{xj}、{zj} 是不相关的,即
γ
x
z
=
0
\gamma_{xz}=0
γxz=0。
如果 γ x z > 0 \gamma_{xz}>0 γxz>0,第一个模型有更大的MSPE。
如果 γ x z < 0 \gamma_{xz}<0 γxz<0,第二个模型有更大的MSPE。
令
ρ
^
x
z
\hat\rho_{xz}
ρ^xz 表示
{
x
j
}
、
{
z
j
}
\{x_j\}、\{z_j\}
{xj}、{zj} 的样本相关系数,假设1、2支持:
ρ
^
x
z
(
1
−
ρ
^
x
z
2
)
/
(
H
−
1
)
∼
t
H
−
1
\frac{\hat\rho_{xz}}{\sqrt{(1-\hat\rho_{xz}^2)/(H-1)}}\sim t_{H-1}
(1−ρ^xz2)/(H−1)ρ^xz∼tH−1
H
0
:
ρ
x
z
=
0
;
H
1
:
ρ
x
z
>
0
o
r
H
1
:
ρ
x
z
<
0
H_0:\rho_{xz}=0;H_1:\rho_{xz}>0\ \ or\ \ H_1:\rho_{xz}<0
H0:ρxz=0;H1:ρxz>0 or H1:ρxz<0
存在的问题:真实的数据通常不满足假设1、2。
Diebold-Mariano检验
令时刻 j j j 的预测误差的损失函数为 g ( e j ) g(e_j) g(ej)。在均方误差形式下,损失为 e j 2 e_j^2 ej2。
可以写出损失差
d
j
=
g
(
e
1
j
)
−
g
(
e
2
j
)
d_j=g(e_{1j})-g(e_{2j})
dj=g(e1j)−g(e2j),平均损失差可表示为:
d
ˉ
=
1
H
∑
j
=
1
H
[
g
(
e
1
j
)
−
g
(
e
2
j
)
]
\bar d=\frac{1}{H}\sum_{j=1}^H[g(e_{1j})-g(e_{2j})]
dˉ=H1j=1∑H[g(e1j)−g(e2j)]
H
0
:
预
测
精
度
相
同
;
H
1
:
模
型
1
更
好
(
E
(
d
ˉ
)
<
0
)
o
r
H
1
:
模
型
2
更
好
(
E
(
d
ˉ
)
>
0
)
H_0:预测精度相同;H_1:模型1更好(E(\bar d)<0)\ \ or\ \ H_1:模型2更好(E(\bar d)>0)
H0:预测精度相同;H1:模型1更好(E(dˉ)<0) or H1:模型2更好(E(dˉ)>0)
在相等的预测精度的零假设下,有: E ( d ˉ ) = E ( d j ) = 0 E(\bar d)=E(d_j)=0 E(dˉ)=E(dj)=0
在零假设下,中心极限定理表明, d ˉ \bar d dˉ 服从均值为0,、方差为 v a r ( d ˉ ) var(\bar d) var(dˉ) 的正态分布。
-
如果 { d j } \{d_j\} {dj} 序列不相关,样本方差为 γ ^ \hat\gamma γ^, v a r ( d ˉ ) var(\bar d) var(dˉ) 的估计值为 γ ^ H − 1 \frac{\hat\gamma}{H-1} H−1γ^:
d ˉ γ ^ / ( H − 1 ) → d N ( 0 , 1 ) , H → ∞ \frac{\bar d}{\sqrt{\hat\gamma/(H-1)}}\to^dN(0,1),H\to\infin γ^/(H−1)dˉ→dN(0,1),H→∞ -
如果 { d j } \{d_j\} {dj} 序列相关,例如:Newey-West方差估计值:
d ˉ v a r ( d ˉ ) ^ → d N ( 0 , 1 ) , H → ∞ \frac{\bar d}{\sqrt{\hat{var(\bar d)}}}\to^dN(0,1),H\to\infin var(dˉ)^dˉ→dN(0,1),H→∞
其中 v a r ( d ˉ ) ^ \hat{var(\bar d)} var(dˉ)^ 是 v a r ( d ˉ ) var(\bar d) var(dˉ) 是准确估计。