本篇博文我们将正式地陈述一系列随机变量靠近某个随机变量。
定义1:
{Xn}
是一系列随机变量,
X
是定义在样本空间上的随机变量。我们说
或者等价的
如果成立,我们一般写成
如果
Xn→PX
,我们常说
Xn−X
的差收敛到0。极限随机变量
X
经常是一个常数;例如
说明依概率收敛的一种方法是用切比雪夫定理,具体会在下面的证明中给出,为了强调我们是一系列随机变量,我们在随机变量上给出下标,像 X¯ 写成 X¯n 。
定理1:
(弱大数定理)
{Xn}
是一系列独立同分布的随机变量,均值为
μ
,方差为
σ2<∞
,
X¯n=n−1∑ni=1Xi
,那么
证明:
回忆一下
X¯n
的均值与方差分别为
μ,σ2/n
,因此根据切比雪夫定理,对于任意的
ϵ>0
||
这个定理说明,当
n
取向
还有一个强大数定理,它弱化了定理1的假设:随机变量 Xi 独立且都有有限的均值 μ ,因此强大数定理是一阶矩定理,而弱大数定理需要二阶矩存在。
还有些关于依概率收敛的定理,我们在后面会用到,首先是两个关于依概率收敛对线性封闭的定理。
定理2: 假设 Xn→PX,Yn→PY ,那么 Xn+Yn→PX+Y 。
证明:
ϵ>0
已给定,利用三角不等式可得
因为
P
是单调的,所以我们有
根据定理的假设,后两项收敛到0,从而得证。 ||
定理3:
假设
Xn→PX
且
a
是一个常数,那么
证明:
如果
a=0
,结论明显成立。假设
a≠0
,令
ϵ>0
,那么
根据假设最后一项趋于0。 ||
定理4:
假设
Xn→Pa
且函数
g
在
证明:
令
ϵ>0
,那么因为
g
在
代入
Xn
可得
根据假设,最后一项在 n→∞ 时趋于0,得证。 ||
这个定理给出了许多有用的结论。例如,如果
Xn→Pa
,那么
实际上,如果
Xn→PX
且
g
是连续函数,那么
定理5: 假设 Xn→PX,Yn→PY ,那么 XnYn→PXY 。
证明:
利用上面的结论,我们有
现在回到采样与统计的讨论,考虑这么一种情况,随机变量
X
的分布有未知参数
定义2:
X
是cdf为
如果 X1,…,Xn 是有限均值 μ 和方差 σ2 分布的随机样本,那么根据弱大数定理,样本均值 X¯ 是 μ 的一致估计。
例1:
X1,…,Xn
表示均值为
μ
方差为
σ2
分布的随机样本,定理1说明
X¯→Pμ
。为了说明样本均值依概率收敛到
σ2
,假设
E[X41]<∞
,这样的话
var(S2)<∞
。根据前面的结论可得:
因此样本方差是 σ2 的一致估计。
不像上面的例子,有时候我们可以用分布函数得出收敛,如下例所示:
例2: X1,…,Xn 是均匀分布 (0,θ) 的随机样本, Yn=max{X1,…,Xn} ,从 Yn 的cdf中很容易看出 Yn→Pθ 且样本最大值是 θ 的一致估计。注意无偏估计 ((n+1)/n)Yn 也是一致的。
接下里扩展下例2,根据定理1可得 X¯n 是 θ/2 的一致估计,所以 2X¯n 是 θ 的一致估计,注意 Yn,2X¯n 依概率收敛到 θ 的区别。对 Yn 而言我们用的是 Yn 的cdf,但对 2X¯n 而言,我们用的是弱大数定理。事实上 2X¯n 的cdf非常复杂。在许多情况下,统计量的cdf无法得到但是我们可以用近似理论来建立结论。其实还有许多其他 θ 的估计量,那么哪个是最好的呢?后面的文章会继续介绍。
一致性是估计量非常重要的性质,当样本数量增大时差的估计量不可能靠近目标。注意这对无偏性是不成立的。例如我们不用样本方差来估计
σ2
,假设用
V=n−1∑ni=1(Xi−X¯)2
,那么
V
是