文章目录
八、 A R ( p ) {\rm AR}(p) AR(p)序列与其自协方差函数
1. A R ( p ) {\rm AR}(p) AR(p)序列
之前我们给出过 A R ( p ) {\rm AR}(p) AR(p)序列的定义:满足 A R ( p ) {\rm AR}(p) AR(p)模型的平稳时间序列。由于 A R ( p ) {\rm AR}(p) AR(p)序列的平稳解是唯一的,而且是平稳序列,我们就可以对它的性质进行进一步的讨论。
A
R
(
p
)
{\rm AR}(p)
AR(p)序列表现形式为
X
t
=
∑
j
=
0
∞
ψ
j
ε
t
−
j
X_t=\sum\limits_{j=0}^\infty \psi_j\varepsilon_{t-j}
Xt=j=0∑∞ψjεt−j,是一个单边白噪声无穷滑动和,所以是零均值的,自协方差函数为
γ
k
=
σ
2
∑
j
=
0
∞
ψ
j
ψ
j
+
k
,
k
≥
0.
D
X
t
=
γ
0
=
σ
2
∑
j
=
0
∞
ψ
j
2
.
\gamma_k=\sigma^2\sum_{j=0}^\infty \psi_j\psi_{j+k},\quad k\ge0.\\ {\rm D}X_t=\gamma_0=\sigma^2\sum_{j=0}^\infty \psi_j^2.
γk=σ2j=0∑∞ψjψj+k,k≥0.DXt=γ0=σ2j=0∑∞ψj2.
在第二篇笔记中,我们提到无穷滑动和的自协方差函数是收敛于0的,特别对
A
R
(
p
)
{\rm AR}(p)
AR(p)序列,它的自协方差函数是负指数阶收敛于0的,即
∣
γ
k
∣
≤
σ
2
(
∑
j
=
0
∞
ψ
j
2
)
1
/
2
(
∑
j
=
0
∞
ψ
j
+
k
2
)
1
/
2
≤
c
0
(
∑
j
=
k
∞
ρ
−
2
j
)
1
/
2
≤
c
1
ρ
−
k
.
|\gamma_k|\le \sigma^2\left(\sum_{j=0}^\infty \psi_j^2 \right)^{1/2}\left(\sum_{j=0}^\infty\psi_{j+k}^2 \right)^{1/2}\le c_0\left(\sum_{j=k}^\infty \rho^{-2j} \right)^{1/2}\le c_1\rho^{-k}.
∣γk∣≤σ2(j=0∑∞ψj2)1/2(j=0∑∞ψj+k2)1/2≤c0⎝⎛j=k∑∞ρ−2j⎠⎞1/2≤c1ρ−k.
所以,与
ψ
j
\psi_j
ψj一样,
∣
γ
k
∣
|\gamma_k|
∣γk∣也会很快收敛到0,并且
min
j
ρ
j
\min\limits_j\rho_j
jminρj越大,收敛速度越快,也就是
X
t
,
X
t
+
k
X_t,X_{t+k}
Xt,Xt+k的相关度越低,这被称为时间序列的短记忆性。
2.Yule-Walker方程
在介绍了
A
R
(
p
)
{\rm AR}(p)
AR(p)序列的自协方差函数与相关性质后,我们要将自协方差函数序列与自相关系数联系在一起,就是这里要说的Yule-Walker方程。Yule-Walker方程的表现形式很简单:
A
(
B
)
γ
k
=
σ
2
ψ
−
k
.
A(\mathscr B)\gamma_k=\sigma^2\psi_{-k}.
A(B)γk=σ2ψ−k.
接下来,对这个方程予以证明,并提出几个不同的形式。
首先,我们知道
X
t
=
a
1
X
t
−
1
+
⋯
+
a
p
X
t
−
p
+
ε
t
X_t=a_1X_{t-1}+\cdots+a_pX_{t-p}+\varepsilon_t
Xt=a1Xt−1+⋯+apXt−p+εt,如果将它列成向量或矩阵的形式,则有
[
X
t
X
t
+
1
⋮
X
t
+
p
−
1
]
=
[
X
t
−
1
X
t
−
2
⋯
X
t
−
p
X
t
X
t
−
1
⋯
X
t
+
1
−
p
⋮
⋮
⋮
X
t
+
p
−
2
X
t
+
p
−
3
⋯
X
t
−
1
]
[
a
1
a
2
⋮
a
p
]
+
[
ε
t
ε
t
+
1
⋮
ε
t
+
p
−
1
]
.
\begin{bmatrix} X_t\\X_{t+1}\\\vdots\\X_{t+p-1} \end{bmatrix}= \begin{bmatrix} X_{t-1}&X_{t-2}&\cdots&X_{t-p}\\ X_{t}&X_{t-1}&\cdots&X_{t+1-p}\\ \vdots&\vdots&&\vdots\\ X_{t+p-2}&X_{t+p-3}&\cdots&X_{t-1} \end{bmatrix}\begin{bmatrix} a_1\\a_2\\\vdots\\a_p \end{bmatrix}+\begin{bmatrix} \varepsilon_t\\\varepsilon_{t+1}\\\vdots\\\varepsilon_{t+p-1} \end{bmatrix}.
⎣⎢⎢⎢⎡XtXt+1⋮Xt+p−1⎦⎥⎥⎥⎤=⎣⎢⎢⎢⎡Xt−1Xt⋮Xt+p−2Xt−2Xt−1⋮Xt+p−3⋯⋯⋯Xt−pXt+1−p⋮Xt−1⎦⎥⎥⎥⎤⎣⎢⎢⎢⎡a1a2⋮ap⎦⎥⎥⎥⎤+⎣⎢⎢⎢⎡εtεt+1⋮εt+p−1⎦⎥⎥⎥⎤.
这是一个
p
p
p维向量等式,但我们现在要将其向任意更高的维度发展,这对我们以后的研究有好处。所以,我们令
a
n
=
(
a
1
,
⋯
,
a
p
,
0
,
⋯
,
0
)
n
′
\boldsymbol a_n=(a_1,\cdots,a_p,0,\cdots,0)_n'
an=(a1,⋯,ap,0,⋯,0)n′,就可以自然地将以上的式子扩展成高维的。如果在等式两边同时乘以
X
t
−
1
X_{t-1}
Xt−1并取期望,就得到一个重要的方程:
γ
n
=
Γ
n
a
n
,
n
≥
p
.
\boldsymbol \gamma_n=\Gamma_n\boldsymbol a_n,\quad n\ge p.
γn=Γnan,n≥p.
这里
Γ
n
\Gamma_n
Γn是自协方差矩阵,
γ
n
=
(
γ
1
,
⋯
,
γ
n
)
\boldsymbol \gamma_n=(\gamma_1,\cdots,\gamma_n)
γn=(γ1,⋯,γn)。从这个式子出发,我们可以得到任何
k
>
0
k>0
k>0时的自协方差函数递推关系(因为
γ
n
\boldsymbol \gamma_n
γn的下标从1开始):
γ
k
=
a
1
γ
k
−
1
+
⋯
+
a
p
γ
k
−
p
,
k
>
0.
\gamma_k=a_1\gamma_{k-1}+\cdots+a_p\gamma_{k-p},\quad k>0.
γk=a1γk−1+⋯+apγk−p,k>0.
也就是对于
k
>
1
k>1
k>1,有
A
(
B
)
γ
k
=
0
A(\mathscr B)\gamma_k=0
A(B)γk=0,这个式子与Wold系数的
A
(
B
)
ψ
j
=
0
A(\mathscr B)\psi_j=0
A(B)ψj=0很相似,不同的是,在定义了
ψ
j
,
j
≤
0
\psi_j,j\le0
ψj,j≤0的情况下,Wold系数没有下标的限制,而自协方差只能对正值下标使用。那么,对于
γ
0
\gamma_0
γ0,它也满足一定的等式如下:
γ
0
=
E
X
t
2
=
E
(
∑
j
=
1
p
a
j
X
t
−
j
+
ε
t
)
2
=
E
(
∑
j
=
1
p
a
j
X
t
−
j
)
2
+
E
ε
t
2
=
E
(
∑
j
=
1
n
a
j
X
t
−
j
)
2
+
E
ε
t
2
=
∑
j
=
1
n
∑
k
=
1
n
a
j
a
k
E
X
j
X
k
+
σ
2
=
a
n
′
Γ
n
a
n
+
σ
2
=
γ
n
′
a
n
+
σ
2
.
\begin{aligned} \gamma_0=&{\rm E}X_t^2={\rm E}\left(\sum_{j=1}^p a_jX_{t-j}+\varepsilon_t \right)^2\\ =&{\rm E}\left(\sum_{j=1}^pa_jX_{t-j} \right)^2+{\rm E}\varepsilon_t^2\\ =&{\rm E}\left(\sum_{j=1}^na_jX_{t-j} \right)^2+{\rm E}\varepsilon_t^2\\ =&\sum_{j=1}^n\sum_{k=1}^na_ja_k{\rm E}X_jX_k+\sigma^2\\ =&\boldsymbol a_n'\Gamma_n\boldsymbol a_n+\sigma^2\\ =&\boldsymbol \gamma_n'\boldsymbol a_n+\sigma^2. \end{aligned}
γ0======EXt2=E(j=1∑pajXt−j+εt)2E(j=1∑pajXt−j)2+Eεt2E(j=1∑najXt−j)2+Eεt2j=1∑nk=1∑najakEXjXk+σ2an′Γnan+σ2γn′an+σ2.
这里,第一行到第二行是平方展开,并且
E
X
t
−
j
ε
t
=
0
{\rm E}X_{t-j}\varepsilon_t=0
EXt−jεt=0,因为
A
R
(
p
)
{\rm AR}(p)
AR(p)序列与未来的白噪声无关;第二行到第三行将求和上标从
p
p
p扩展到
n
n
n,方便后续向
Γ
n
,
a
n
\Gamma_n,\boldsymbol a_n
Γn,an转化;第五行到第六行中,代入了我们得到的等式
γ
n
=
Γ
n
a
n
\boldsymbol \gamma_n=\Gamma_n\boldsymbol a_n
γn=Γnan。
这样,我们就得到了自协方差函数与自回归系数、自协方差矩阵的关系:
γ
n
=
Γ
n
a
n
,
γ
0
=
γ
n
′
a
n
+
σ
2
.
\boldsymbol \gamma_n=\Gamma_n\boldsymbol a_n,\quad \gamma_0=\boldsymbol \gamma_n'\boldsymbol a_n+\sigma^2.
γn=Γnan,γ0=γn′an+σ2.
这就是Yule-Walker方程对
k
≥
0
k\ge 0
k≥0的表现形式,事实上,这是拥有更广泛应用的形式,因为在实际使用时,我们会比较容易获得样本的自协方差函数,而自回归系数、白噪声方差往往需要根据样本估计,上面的两个式子提供了根据自协方差函数计算自回归系数的方式。至于为什么要将这个式子不限定于
p
p
p维,而要向任意高维
n
n
n推广,在以后会有更深刻的体会。
而结合Wold系数,Yule-Walker方程可以写成更为通用的形式:
A
(
B
)
γ
k
=
σ
2
ψ
−
k
,
k
∈
Z
.
A(\mathscr B)\gamma_k=\sigma^2\psi_{-k},\quad k\in\Z.
A(B)γk=σ2ψ−k,k∈Z.
这个式子直接去除了
γ
k
\gamma_k
γk的下标限制,对
k
>
0
k>0
k>0的情况,已经在前面得到证明,而
k
=
0
k=0
k=0时也有
γ
0
=
γ
n
′
a
n
+
σ
2
=
a
1
γ
1
+
⋯
+
a
p
γ
p
+
σ
2
=
a
1
γ
−
1
+
⋯
+
a
p
γ
−
p
+
σ
2
.
\gamma_0=\boldsymbol \gamma_n'\boldsymbol a_n+\sigma^2=a_1\gamma_1+\cdots+a_p\gamma_p+\sigma^2=a_1\gamma_{-1}+\cdots+a_p\gamma_{-p}+\sigma^2.
γ0=γn′an+σ2=a1γ1+⋯+apγp+σ2=a1γ−1+⋯+apγ−p+σ2.
现在对
k
<
0
k<0
k<0的情况证明,有
A
(
B
)
γ
k
=
γ
k
−
(
a
1
γ
k
−
1
+
⋯
+
a
p
γ
k
−
p
)
=
E
[
X
t
−
k
(
X
t
−
∑
j
=
1
p
a
j
X
t
−
j
)
]
=
E
[
X
t
−
k
ε
t
]
=
E
(
∑
j
=
0
∞
ψ
j
ε
t
−
k
−
j
ε
t
)
=
σ
2
ψ
−
k
.
\begin{aligned} A(\mathscr B)\gamma_k=&\gamma_k-(a_1\gamma_{k-1}+\cdots+a_p\gamma_{k-p})\\ =&{\rm E}\left[X_{t-k}\left(X_t-\sum_{j=1}^pa_jX_{t-j} \right) \right]\\ =&{\rm E}[X_{t-k}\varepsilon_t]\\ =&{\rm E}\left(\sum_{j=0}^\infty \psi_j\varepsilon_{t-k-j} \varepsilon_t\right)\\ =&\sigma^2\psi_{-k}. \end{aligned}
A(B)γk=====γk−(a1γk−1+⋯+apγk−p)E[Xt−k(Xt−j=1∑pajXt−j)]E[Xt−kεt]E(j=0∑∞ψjεt−k−jεt)σ2ψ−k.
这就证明了
A
(
B
)
γ
k
=
σ
2
ψ
−
k
A(\mathscr B)\gamma_k=\sigma^2\psi_{-k}
A(B)γk=σ2ψ−k。
3.自协方差函数的正定性
由于
A
R
(
p
)
{\rm AR}(p)
AR(p)模型的平稳解唯一,仅由自回归系数和方差就能唯一确定,并得到平稳解的自协方差函数列。但是反过来,我们能否根据自协方差函数列推断自回归系数和方差呢?还是从Yule-Walker方程入手:
γ
n
=
Γ
n
a
n
,
γ
0
=
γ
n
′
a
n
+
σ
2
.
\boldsymbol \gamma_n=\Gamma_n\boldsymbol a_n,\quad \gamma_0=\boldsymbol \gamma_n'\boldsymbol a_n+\sigma^2.
γn=Γnan,γ0=γn′an+σ2.
因为
a
n
\boldsymbol a_n
an在
p
p
p位置之后的元素都是0,所以取
n
=
p
n=p
n=p就足够我们计算所有的自回归系数了,并且如果
Γ
p
\Gamma_p
Γp是可逆的,也就是
Γ
p
\Gamma_p
Γp不退化,结合自身非负定性即
Γ
p
\Gamma_p
Γp如果是正定的,就得到
a
p
=
Γ
p
−
1
γ
p
,
σ
2
=
γ
0
−
γ
p
′
a
p
.
\boldsymbol a_p=\Gamma_p^{-1}\boldsymbol \gamma_p,\quad \sigma^2=\gamma_0-\boldsymbol \gamma_p'\boldsymbol a_p.
ap=Γp−1γp,σ2=γ0−γp′ap.
所以,一切问题都来到了
Γ
p
\Gamma_p
Γp是否是正定矩阵上。幸好,实际生活中的许多平稳序列的自协方差矩阵都是正定的,特别是
A
R
(
p
)
{\rm AR}(p)
AR(p)序列的自协方差矩阵总是正定的。接下来提出两个定理:
自协方差矩阵正定定理:对于平稳序列 { X t } \{X_t\} {Xt},其 n n n阶自协方差矩阵为 Γ n \Gamma_n Γn,则
- 如果 { X t } \{X_t\} {Xt}的谱密度 f ( λ ) f(\lambda) f(λ)存在,则对任何 n ≥ 1 n\ge1 n≥1, Γ n \Gamma_n Γn正定;
- 如果当 k → ∞ k\to \infty k→∞时 γ k → 0 \gamma_k\to 0 γk→0,则对任何 n ≥ 1 n\ge1 n≥1, Γ n \Gamma_n Γn正定。
特别对于 A R ( p ) {\rm AR}(p) AR(p)序列,其自协方差函数以负指数阶收敛于0,且谱密度存在(下一篇中将给出谱密度的形式),所以其自协方差矩阵总是正定的。
以下对这两种情况分别给出证明。
对于谱密度存在的情况,对于任何
n
n
n维实向量
b
=
(
b
1
,
⋯
,
b
n
)
′
≠
0
\boldsymbol b=(b_1,\cdots,b_n)'\ne 0
b=(b1,⋯,bn)′=0,函数
∑
k
=
1
n
b
k
e
i
k
λ
\sum_{k=1}^nb_ke^{{\rm i}k\lambda}
∑k=1nbkeikλ最多只有
n
n
n个零点,且
γ
0
=
∫
−
π
π
f
(
λ
)
d
λ
>
0
\gamma_0=\int_{-\pi}^\pi f(\lambda){\rm d}\lambda >0
γ0=∫−ππf(λ)dλ>0,所以
b
′
Γ
n
b
=
∑
j
=
1
n
∑
k
=
1
n
b
j
b
k
γ
k
−
j
=
∑
j
=
1
n
∑
k
=
1
n
∫
−
π
π
b
k
b
j
e
i
(
k
−
j
)
λ
f
(
λ
)
d
λ
=
∫
−
π
π
∑
j
=
1
n
∑
k
=
1
n
b
k
e
i
k
λ
b
j
e
−
i
k
λ
f
(
λ
)
d
λ
=
∫
−
π
π
∣
∑
j
=
1
n
b
j
e
i
j
λ
∣
2
f
(
λ
)
d
λ
>
0.
\begin{aligned} \boldsymbol b'\Gamma_n\boldsymbol b=&\sum_{j=1}^n\sum_{k=1}^n b_jb_k\gamma_{k-j}\\ =&\sum_{j=1}^n\sum_{k=1}^n\int_{-\pi}^\pi b_kb_je^{{\rm i}(k-j)\lambda}f(\lambda){\rm d}\lambda\\ =&\int_{-\pi}^\pi \sum_{j=1}^n\sum_{k=1}^nb_ke^{{\rm i}k\lambda}b_je^{-{\rm i}k\lambda}f(\lambda){\rm d}\lambda\\ =&\int_{-\pi}^\pi\left|\sum_{j=1}^nb_je^{{\rm i}j\lambda} \right|^2f(\lambda ){\rm d}\lambda>0. \end{aligned}
b′Γnb====j=1∑nk=1∑nbjbkγk−jj=1∑nk=1∑n∫−ππbkbjei(k−j)λf(λ)dλ∫−ππj=1∑nk=1∑nbkeikλbje−ikλf(λ)dλ∫−ππ∣∣∣∣∣j=1∑nbjeijλ∣∣∣∣∣2f(λ)dλ>0.
最后一个不等号成立,是因为前半部分
0
∣
∑
j
=
1
n
b
j
e
i
j
λ
∣
2
0|\sum_{j=1}^nb_je^{{\rm i}j\lambda} |^2
0∣∑j=1nbjeijλ∣2只在有限个点处为0,其他部分为正;后半部分
f
(
λ
)
f(\lambda)
f(λ)因为
∫
−
π
π
f
(
λ
)
d
λ
\int_{-\pi}^\pi f(\lambda){\rm d}\lambda
∫−ππf(λ)dλ,必定存在一个测度不为0的集合使得
f
(
λ
)
>
0
f(\lambda)>0
f(λ)>0,所以
b
′
Γ
n
b
>
0
\boldsymbol b'\Gamma_n\boldsymbol b>0
b′Γnb>0。
第二种情况的证明稍显繁琐,我们想反证法推出矛盾,如果
Γ
n
\Gamma_n
Γn正定但
det
(
Γ
n
+
1
)
=
0
\det(\Gamma_{n+1})=0
det(Γn+1)=0,
E
X
t
=
0
{\rm E}X_t=0
EXt=0,定义
X
n
=
(
X
1
,
⋯
,
X
n
)
′
\boldsymbol X_n=(X_1,\cdots,X_n)'
Xn=(X1,⋯,Xn)′,则对任何实向量
b
=
(
b
1
,
⋯
,
b
n
)
≠
0
\boldsymbol b=(b_1,\cdots,b_n)\ne 0
b=(b1,⋯,bn)=0,有
E
(
b
′
X
n
)
2
=
E
(
b
′
X
n
X
n
′
b
)
=
b
′
Γ
n
b
>
0
,
{\rm E}(\boldsymbol b'\boldsymbol X_n)^2={\rm E}(\boldsymbol b'\boldsymbol X_n\boldsymbol X_n'\boldsymbol b)=\boldsymbol b'\Gamma_n\boldsymbol b>0,
E(b′Xn)2=E(b′XnXn′b)=b′Γnb>0,
同时存在
a
=
(
a
1
,
⋯
,
a
n
+
1
)
′
≠
0
\boldsymbol a=(a_1,\cdots,a_{n+1})'\ne0
a=(a1,⋯,an+1)′=0,使得
E
(
a
′
X
n
+
1
)
2
=
a
′
Γ
n
+
1
a
=
0
{\rm E}(\boldsymbol a'\boldsymbol X_{n+1})^2=\boldsymbol a'\Gamma_{n+1}\boldsymbol a=0
E(a′Xn+1)2=a′Γn+1a=0,所以
a
′
X
n
+
1
=
a
1
X
1
+
⋯
+
a
n
X
n
+
a
n
+
1
X
n
+
1
=
0
,
a
.
s
.
\boldsymbol a'\boldsymbol X_{n+1}=a_1X_1+\cdots+a_nX_n+a_{n+1}X_{n+1}=0,\quad {\rm a.s.}
a′Xn+1=a1X1+⋯+anXn+an+1Xn+1=0,a.s.
并且由于
X
1
,
⋯
,
X
n
X_1,\cdots,X_n
X1,⋯,Xn线性无关得知
a
n
+
1
≠
0
a_{n+1}\ne0
an+1=0,
X
n
+
1
X_{n+1}
Xn+1可以被
X
1
,
⋯
,
X
n
X_1,\cdots,X_n
X1,⋯,Xn线性表示。这样,利用
{
X
t
}
\{X_t\}
{Xt}的平稳性就得到
∀
k
≥
1
,
X
n
+
k
\forall k\ge1,X_{n+k}
∀k≥1,Xn+k可以被
X
1
,
⋯
,
X
n
X_1,\cdots,X_{n}
X1,⋯,Xn线性表示,即存在实向量
α
=
(
α
1
,
⋯
,
α
n
)
′
\boldsymbol \alpha=(\alpha_1,\cdots,\alpha_n)'
α=(α1,⋯,αn)′,使得
X
n
+
k
=
α
′
X
.
X_{n+k}=\boldsymbol \alpha'\boldsymbol X.
Xn+k=α′X.
因为
Γ
n
\Gamma_n
Γn是正定对称阵,有
0
<
λ
1
≤
⋯
≤
λ
n
0<\lambda_1\le \cdots\le \lambda_n
0<λ1≤⋯≤λn(正定),并且有正交阵
T
T
T使得
T
Γ
n
T
′
=
d
i
a
g
(
λ
1
,
⋯
,
λ
n
)
T\Gamma_nT'={\rm diag}(\lambda_1,\cdots,\lambda_n)
TΓnT′=diag(λ1,⋯,λn)(对称),于是
γ
0
=
E
X
n
+
k
2
=
E
(
α
′
X
)
2
=
α
′
Γ
n
a
=
(
α
′
T
′
)
(
T
Γ
n
T
′
)
(
T
α
)
≥
λ
1
∣
T
α
∣
2
=
λ
1
∣
α
∣
2
.
\gamma_0={\rm E}X_{n+k}^2={\rm E}(\boldsymbol \alpha'\boldsymbol X)^2=\boldsymbol \alpha'\Gamma_n\boldsymbol a=(\boldsymbol \alpha'T')(T\Gamma_nT')(T\boldsymbol \alpha)\ge \lambda_1|T\boldsymbol \alpha|^2=\lambda_1|\boldsymbol \alpha|^2.
γ0=EXn+k2=E(α′X)2=α′Γna=(α′T′)(TΓnT′)(Tα)≥λ1∣Tα∣2=λ1∣α∣2.
得到
0
<
∣
α
∣
≤
γ
0
/
λ
1
0<|\boldsymbol \alpha|\le\sqrt{\gamma_0/\lambda_1}
0<∣α∣≤γ0/λ1,这里找到了
α
\boldsymbol \alpha
α的模的与
n
n
n无关的上界;另一边又有
γ
0
=
E
(
a
′
X
X
n
+
k
)
=
a
′
E
(
X
X
n
+
k
)
=
a
′
(
γ
n
+
k
−
1
,
γ
n
+
k
−
2
,
⋯
,
γ
k
)
′
≤
∣
a
∣
(
∑
j
=
0
n
−
1
γ
j
+
k
2
)
1
/
2
≤
(
γ
0
γ
1
∑
j
=
0
n
−
1
γ
j
+
k
2
)
1
/
2
→
0.
\begin{aligned} \gamma_0=&{\rm E}(\boldsymbol a'\boldsymbol XX_{n+k})\\ =&\boldsymbol a'{\rm E}(\boldsymbol XX_{n+k})\\ =&\boldsymbol a'(\gamma_{n+k-1},\gamma_{n+k-2},\cdots,\gamma_k)'\\ \le& |\boldsymbol a|\left(\sum_{j=0}^{n-1}\gamma_{j+k}^2 \right)^{1/2}\\ \le&\left(\frac{\gamma_0}{\gamma_1}\sum_{j=0}^{n-1}\gamma_{j+k}^2\right)^{1/2}\to 0. \end{aligned}
γ0===≤≤E(a′XXn+k)a′E(XXn+k)a′(γn+k−1,γn+k−2,⋯,γk)′∣a∣(j=0∑n−1γj+k2)1/2(γ1γ0j=0∑n−1γj+k2)1/2→0.
这里推出了矛盾。综合以上证明过程,我们通过研究
X
1
,
⋯
,
X
n
,
X
n
+
1
X_1,\cdots,X_n,X_{n+1}
X1,⋯,Xn,Xn+1的线性相关性得到了
X
n
+
k
X_{n+k}
Xn+k可以被
X
1
,
⋯
,
X
n
X_1,\cdots,X_n
X1,⋯,Xn线性表示这一结论,再通过
γ
0
\gamma_0
γ0的两种不同展开方式得到了矛盾,最终证明了
Γ
n
\Gamma_n
Γn正定的情况下
Γ
n
+
1
\Gamma_{n+1}
Γn+1一定也是正定的,再结合
γ
0
>
0
\gamma_0>0
γ0>0这一基本事实,得到
Γ
n
\Gamma_n
Γn的正定性对任何
n
n
n成立。
别忘了我们证明
Γ
n
\Gamma_n
Γn的目的,有了
Γ
n
\Gamma_n
Γn的正定性,就说明
Γ
n
\Gamma_n
Γn是可逆的,于是可以由Yule-Walker方程得到
a
p
=
Γ
p
−
1
γ
p
,
σ
2
=
γ
0
−
γ
p
′
a
p
.
\boldsymbol a_p=\Gamma_p^{-1}\boldsymbol \gamma_p,\quad \sigma^2=\gamma_0-\boldsymbol \gamma_p'\boldsymbol a_p.
ap=Γp−1γp,σ2=γ0−γp′ap.
但仍有一个问题:在实际运用中,我们不一定知道
A
R
(
p
)
{\rm AR}(p)
AR(p)方程的阶数
p
p
p,那应该怎么取
p
p
p才能得到合适的自回归系数个数呢?这是我们之后会讨论到的问题。
回顾总结
-
A R ( p ) {\rm AR}(p) AR(p)序列是满足 A R ( p ) {\rm AR}(p) AR(p)模型的平稳序列,是一个关于Wold系数 ψ j \psi_j ψj的单边无穷滑动和,故均值为0,自协方差函数为
γ k = σ 2 ∑ j = 0 ∞ ψ j ψ j + k , k ∈ Z . \gamma_k=\sigma^2\sum_{j=0}^\infty \psi_j\psi_{j+k},\quad k\in\Z. γk=σ2j=0∑∞ψjψj+k,k∈Z. -
A R ( p ) {\rm AR}(p) AR(p)序列的自协方差函数 γ k \gamma_k γk以负指数阶收敛到0,即 ∣ γ k ∣ = o ( ρ − k ) |\gamma_k|=o(\rho^{-k}) ∣γk∣=o(ρ−k)。
-
Yule-Walker方程联系了自协方差函数与自回归系数、白噪声方差,还可以联系Wold系数,其通式是 A ( B ) γ k = σ 2 ψ − k A(\mathscr B)\gamma_k=\sigma^2\psi_{-k} A(B)γk=σ2ψ−k。
-
常用的Yule-Walker方程形式是,对于 a n = ( a 1 , ⋯ , a p , 0 , ⋯ , 0 ) n ′ , γ n = ( γ 1 , ⋯ , γ n ) ′ \boldsymbol a_n=(a_1,\cdots,a_p,0,\cdots,0)_n',\boldsymbol \gamma_n=(\gamma_1,\cdots,\gamma_n)' an=(a1,⋯,ap,0,⋯,0)n′,γn=(γ1,⋯,γn)′,有
γ n = Γ n a n , γ 0 = γ n ′ a n + σ 2 , n ≥ p . \boldsymbol \gamma_n=\Gamma_n\boldsymbol a_n,\gamma_0=\boldsymbol \gamma_n'\boldsymbol a_n+\sigma^2,\quad n\ge p. γn=Γnan,γ0=γn′an+σ2,n≥p. -
对于一般平稳序列,如果其谱密度存在,或者自协方差函数列趋向于0,则其自协方差矩阵是任意阶正定的。
-
A R ( p ) {\rm AR}(p) AR(p)序列的自协方差矩阵总是正定的,从而在给定 p p p的情况下有
a p = Γ p − 1 γ p , σ 2 = γ 0 − γ p ′ a p . \boldsymbol a_p=\Gamma_p^{-1}\boldsymbol \gamma_p,\quad \sigma^2=\gamma_0-\boldsymbol \gamma_p'\boldsymbol a_p. ap=Γp−1γp,σ2=γ0−γp′ap.
这一般被用来估计自回归系数与白噪声方差。