模型的自相关系数计算_时间序列分析第08讲（均值估计收敛速度，自协方差估计，白噪声检验，预测引入）...

4.1 均值的估计

（三）收敛速度

一般来说，重对数律满足时，收敛速度为

定理 线性平稳序列

定义如下，其谱密度在 0 处非 0

当以下条件成立一个时：

• 负指数趋于 0
• 谱密度在 0 处连续且
  对某个 r > 2 成立

那么有重对数律

从中可得

这个结果非常的好，因为即使序列是独立同分布的，也不过是这个结果。

（四）AR(2) 均值的计算

令

，考虑如下 AR(2) 模型

为模拟方便，假定

将样本均值记为

对模型两边求和再取平均得到

第二个等号是配凑样本均值，最后一步令 N 趋于无穷，后面两项几乎处处趋于 0.

进而

，可见当 N 趋于无穷时，线性平稳序列的样本均值 与 白噪声 的样本均值

近似成正比。

（五）估计收敛性的模拟

为了直观理解上面“近似成正比”的结果，我们取定参数进行随机模拟，结果如下。

可见，线性平稳序列的样本均值 与 白噪声 的样本均值非常的接近。

现在我们重复上述过程，得到 M = 1000 个序列，也就得到了 1000 个样本均值。

现在研究这 1000 个样本均值的均值和方差，结果如下表。

为平稳序列的样本均值序列，

为白噪声的样本均值序列。

根据收敛速度的定理，样本均值的收敛速度为

，样本标准差的收敛速度为

，取不同的 N ，结果是吻合的。

ps：这一部分主要是提供一种分析数据的角度。

4.2 自协方差函数的估计

估计量是自然的（样本协方差函数）：

自相关系数的估计为

注：这里不除 N-k，一方面我们不对较大的 k 求自协方差函数，另一方面（更重要）只有除以 N 才能保证自协方差函数正定。

下面说明样本自协方差函数的正定性。

（一）样本自协方差函数的正定性

只要样本观测值

不全相同

那么

令

，记

则

，只要

不全为 0，则 A 秩为 N，进而样本自协方差阵满秩。

秩为 N 的说明：不妨设

不为 0 ，观察第 1 到 第 N 列，它们是线性无关的。对于其它的

也是同理的（找一个非零斜面）。

（二）相合性

定理1 估计量是渐近无偏的

证明：首先记原序列中心化后的序列为

，其样本均值为

进而根据样本自协方差函数的定义（中心化前后样本自协方差函数一样）

之前在均值估计相合性中我们得到

，对于中间那项，利用柯西不等式

第二步利用

所以

定理2 如果

是严平稳遍历序列，则有强相合性

证明 由严平稳遍历可得

考虑上面定理证明中的中间那项

所以

（三）渐近分布--证明不要求，会用即可

下面讨论白噪声四阶矩存在、独立同分布，并且系数平方可和的平稳列。

令

实际上是

的方差。设

是独立同分布的标准正态分布

定义（第一眼看上去有点不知所以）

不过最基本的“正态分布”还是能够看出来的。其中均值为 0，方差为诸 W 前系数的平方和。

定理 如果独立同分布白噪声的四阶矩存在，并且平稳列的谱密度平方可积

那么对任何正整数 h，当 N 充分大时有以下依分布收敛结果：

根据前面相合性的结果，有

渐近正态性由中心极限定理可知，只要比较两边的协方差矩阵是否相等即可，但比较复杂，不做要求。

（四）自相关检验例子-- MA(q) 序列

当 m > q 时，总体的自相关系数为 0，根据上面的定理，

依分布收敛到

的分布，其中

注意到当 m > q 时，

，并且 t-m 应该在 -q 到 q 之间，令 l=t-m ，可以将上式化简为

即

这个式子可以用于假设检验。试想，如果我们已经确定了 q，那么 m > q 时，根据渐近正态分布，可以给出自相关系数

的置信区间，如果根据样本得到的样本自相关系数没有落在这个区间中，就可以认为该序列不是 MA(q) 序列。

当然，也可以利用这个渐近分布来确定 q，具体做法为：q 从 1 开始逐渐增大，观察当 m > q 时，样本自相关系数是否都落在置信区间中。

例子-- AR(1) 序列

同样利用定理可得

利用

，方差部分计算如下

（五）谱密度平方可积的等价条件

实际工作时很难验证定理中“谱密度平方可积”的条件，于是希望能把平方可积的条件改加在自协方差的收敛速度上。

定理 对平稳序列，自协方差函数平方可和的充分必要条件是谱密度平方可积。

（六）定理中四阶矩条件放宽

四阶矩存在的条件太强了，可以改为对白噪声系数的要求：

对某个常数

这个条件比较容易满足，特别是当系数本身是负指数趋于 0 的。

（七）白噪声情形--得到非常好的结论

（1）渐近分布介绍

推论 利用定理，如果

是独立同分布的白噪声序列，自相关系数的估计还是

那么对于任何正整数 h，

依分布收敛于

多元标准正态分布。

利用这个结论，可以检验一个序列是否为白噪声。思路具体有如下两个：

• 利用多元正态性检验，构造卡方检验统计量
• 将
  看做来自一元标准正态的样本，构造 U 检验统计量

同样利用定理，如果四阶矩存在，那么

依分布收敛于

验证 设白噪声方差为

，根据定理写出

上面式子中，

同样地

所以根据前面的定理，有依分布收敛的结果。

（2）AR(2) 模型实例

令

，考虑如下 AR(2) 模型

为模拟方便，假定

模拟得到理论的自协方差函数及其估计量如下图。

估计量的收敛速度难以在理论上推导出来，所以采用模拟的方法，模拟 1000 次，得到 1000 个自协方差函数的估计量，然后计算标准差（称为标准误差）。

4.3 白噪声检验

我们将模型建好后，最后都要取残差序列，检验它是否为白噪声。

（一）卡方检验

根据推论，

服从多元标准正态分布。构造卡方检验统计量如下：

在白噪声假设成立的条件下，该统计量近似自由度为 m 的卡方分布。

其中 m 并不是越大越好，因为自相关系数本身会很快趋于 0（即使不是白噪声），实际应用中取 m 不超过 10。

注意：这个自相关系数是残差序列的，而不是原来的 AR、MA 等序列。

（二）样本自相关置信区间检验法

考察单个自相关系数，它可以看做是来自一元正态总体的样本，所以

如果有超过 5% 的

，就否定白噪声假设。

同样地，m 不能取太大，理由与卡方检验相同。

• 对标准白噪声检验一般可以成功
• 对 MA(1) 序列如果取 m = 20 则很可能不成功，因为一般只有第一个超出界限
• 对 AR(2) 序列检验一般成功，其自协方差函数不截尾

第五章 时间序列的预报

简单定义一下最佳线性预测。设 Y 是你要预测的，现在已知的是 X，X 是一组向量数据。如果存在向量

，对任意向量

使得

则称

为最佳线性预测，记作

其几何意义如下图，在 X 张成的平面中寻找一个向量，使得它离 Y 的距离最小（也就是残量与 Y 垂直）

当然，也可以用绝对值或其他方式来度量距离，那就是另一套理论了

如果 Y 和 X 的均值不是 0，可以作如下变换

所以之后总假设序列的均值为 0 。

用

表示 X 的自协方差矩阵，

表示 X 和 Y 的协方差向量。

（一）性质一

如果

，那么最佳线性预测为

，并且

在

和

已知时，以

为系数e 的

被称为

预测方程。（ 背熟！！！）

它可以通过几何意义导出，考虑下图

其中内积

，而在这里内积就是乘积的数学期望。而性质一中那个式子，从图上看就是勾股定理！（帮助建立直观概念）

具体证明：

首先证明最佳线性预测，类似这种证明套路都是加一项减一项，然后证明交叉项为 0 。这里交叉项为

根据预测方程可知交叉项为 0 。

同样地，利用预测方程，对均方误差进行整理

第三个等号用到预测方程。

后续还将给出一共 9 条性质。