经验分布函数 与 bootstrap 方法

1. 经验分布函数

当总体分布函数未知，但样本容量足够大时，可以用经验分布函数替代。经验分布函数的定义为：

设 $X_1$, $X_2$, …, $X_n$ 为总体分布的一个样本， $-\infty <x<\infty$，用 $S(x)$ 表示 $X_1$, $X_2$, …, $X_n$ 中不大于 $x$ 的随机变量的个数，则定义经验分布函数为 $F_n(x)$ 为：
$$F_n(x)=\frac{1}{n}S(x),-\infty <x<\infty$$

当 $n\to \infty$ 时，可以用经验分布函数 $F_n(x)$ 代替总体分布函数$F(X)$。举例：

2. bootstrap 方法

经常在 spss 中看到这个方法。当总体分布 $F$ 未知时，但已经有一个容量为 $n$ 的来自 $F$ 的样本，通过对样本再次放回抽样，来估计待估参数 $\theta$ 以及它的置信区间；由于总体分布 $F$ 未知，无法产生模拟样本，也就无法计算 $\theta$ 的估计量 $\hat{\theta }$，bootstrap 方法的基本思想就是用 bootstrap 估计量 ${\hat{\theta }}_i^{\ast }$ 代替 $\hat{\theta }$。

当总体分布已知，对于包含未知参数统计量的置信区间，也可以用 bootstrap 方法。

估计参数值时的一般步骤为：

1. 自原始数据样本 $\text{x}=(x_1,x_2,\dots ,x_n)$ 按放回抽样的方法，抽得容量为 n 的样本 ${\text{x}}^{\ast }=(x_1^{\ast },x_2^{\ast },\dots ,x_n^{\ast })$ (又称为 bootstrap 样本)。
2. 相继地、独立地求出 $B$ 个 ($B\ge 1000$) 容量为 n 的 bootstrap 样本，计算 ${\hat{\theta }}_i^{\ast }=\hat{\theta }(x_1^{\ast },x_2^{\ast },\dots ,x_n^{\ast }),i=1,2,\dots ,B$。 (${\hat{\theta }}_i^{\ast }$ 称为 $\theta$ 的第 $i$ 个 bootstrap 估计)

估计置信水平为 $1-\alpha$ 置信区间时，在上面两个步骤之外，继续进行下列步骤：

3. 对于每个 bootstrap 样本求出的估计值 ${\hat{\theta }}_i^{\ast }$，按照从小到大排序：
   $${\hat{\theta }}_{(1)}^{\ast }\le {\hat{\theta }}_{(2)}^{\ast }\le \cdots \le {\hat{\theta }}_{(B)}^{\ast }$$
4. 取 $k_1=\lfloor B\times \alpha 2\rfloor$，$k_2=\lceil B\times (1-\frac{\alpha }{2})\rceil$（分别为向下取整与向上取整），则置信水平为 $1-\alpha$ 的近似置信区间为：
   $$({\hat{\theta }}_{(k_1)}^{\ast },{\hat{\theta }}_{(k_2)}^{\ast })$$

具体可以参看浙大概率课本第十章。