“手撕“ BootStrap 方法

Part.I Introduction

因为课时限制，之前本科的《概率论与数理统计》好像没有学到这里，但是因为后来用到了，参考浙大的课本做点笔记。

---

Chap.I bootstrap 方法简介

bootstrap方法是Efron在20世纪70年代后期建立的。这一方法可以用于当人们对总体知之甚少的情况，它是近代统计中的一种用于数据处理的重要实用方法。这种方法的实现需要在计算机上作大量的计算，随着计算机威力的增长，它已成为一种流行的方法。

前提：设 $\mathbf{x}=(x_1,x_2,\cdots ,x_n)$ 是来自分布函数为 $F$ 的总体的样本。$R(x)$ 是 $x$ 的函数，$F_n$ 是相应的经验分布函数。我们感兴趣的是 $R(x)$ 的某些特征，比如均值或中位数等。

bootstrap 方法根据对分布函数的掌握程度分为

• 非参数 bootstrap 方法：总体的分布函数 $F$ 未知；先利用已知的经验分布函数 $F_n$ 代替 $F$，在 $F_n$ 中抽样，得到数据样本 $x^{\ast }$，然后计算 $R(x^{\ast })$ 的均值或中位数，作为所需求的均值或中位数的 bootstrap 估计。
• 参数 bootstrap 方法：总体的分布函数 $F(x;\beta )$ 形式已知，参数 $\beta$ 未知；先利用样本 $x$ 求出 $\beta$ 的最大似然估计 $\hat{\beta }$，以 $F(x;\hat{\beta })$ 代替 $F$，在 $F(x;\hat{\beta })$ 中抽样得到数据样本 $x^{\ast }$，然后计算 $R(x^{\ast })$ 的均值或中位数，作为所需求的均值或中位数的 bootstrap 估计。

Chap.II 预备知识

枢轴量 pivotal quantity

概括的说，统计量本身完全是样本的函数，自身不包含任何未知参数（样本一旦确定，统计量的值也就定下来了），但是其分布却往往包含未知参数；枢轴量恰恰相反，枢轴量本身就包含总体中的未知参数，但是其分布的形式一般是确定的，不包含未知参数。

定义：设总体 $X$ 有概率密度（或分布律）$f(x;\theta )$，其中 $\theta$ 是待估的未知参数。设 $X_1,\cdots ,X_n$ 是一个样本，记 $G=G(X_1,X_2,\cdots ,X_n;\theta )$ 为样本和待估参数 $\theta$ 的函数，如果 $G$ 的分布已知，不依赖与任何参数，就称 $G$ 为枢轴量。

由上述定义可以看出枢轴量的几个特点：

• 与某个待估参数有关（事实上枢轴量法主要被用于未知参数的区间估计）；
• 本身含有未知参数（待估参数），因此不具有“可观察性”，也就是说即使选定了样本也无法计算出确定的值；
• 其分布是明确的（有具体的数学公式，不包含未知参数）。

一个比较常见的例子：正态分布转换成标准正态分布时，随机变量中还是包含未知参数，但是其分布中却不包含任何未知参数。因此标准化之后的随机变量是一个枢轴量。

摘自：知乎@Belter昕

---

Part.II 非参数 bootstrap 方法

设总体的分布 $F$ 未知,但已经有一个容量为 $n$ 的来自分布F的数据样本，自这一样本按放回抽样的方法抽取一个容量为 $n$ 的样本,这种样本称为bootstrap样本或称为自助样本。相继地、独立地自原始样本中取很多个bootstrap样本，利用这些样本对总体 $F$ 进行统计推断。这种方法称为非参数bootstrap方法，又称自助法。

Chap.I 估计量标准误差的bootstrap估计

在估计总体未知参数 $\theta$ 时，人们不但要给出 $\theta$ 的估计值 $\hat{\theta }$，还需要指出这一估计 $\hat{\theta }$ 的精度。通常我们用估计量 $\hat{\theta }$ 的标准差 $\sqrt{D(\hat{\theta })}$ 来度量估计的精度。估计量 $\hat{\theta }$ 的标准差 ${\sigma }_{\hat{\theta }}=\sqrt{D(\hat{\theta })}$ 也称为估计量 $\hat{\theta }$ 的标准误差。

下面给出求 $\sqrt{D(\hat{\theta })}$ 的 bootstrap 估计的步骤：

• 自原始数据样本 $\mathbf{x}=(x_1,x_2,\cdots ,x_n)$ 按放回抽样的方法，抽得容量为 $n$ 的样本 ${\mathbf{x}}^{\ast }=(x_1^{\ast },x_2^{\ast },\cdots ,x_n^{\ast })$ （称为bootstrap样本）；
• 相继地、独立地模拟出 $B$ 个（$B\ge 1000$）容量为 $n$ 的bootstrap样本，${\mathbf{x}}^{\ast i}=(x_1^{\ast i},x_2^{\ast i},\cdots ,x_n^{\ast i}),i=1,2,\cdots ,B$，对于第 $i$ 个bootstrap样本，计算 ${\hat{\theta }}_i^{\ast }=\hat{\theta }(x_1^{\ast i},x_2^{\ast i},\cdots ,x_n^{\ast i}),i=1,2,\cdots ,B$ （${\hat{\theta }}_i^{\ast }$ 称为 $\theta$ 的第 $i$ 个 bootstrap 估计）
• 计算 ${\hat{\sigma }}_{\hat{\theta }}=\sqrt{\frac{1}{B-1}\sum _{i=1}^B({\hat{\theta }}_i^{\ast }-\overline{{\theta }^{\ast }}{)}^2}$，其中 $\overline{{\theta }^{\ast }}=\frac{1}{B}\sum _{i=1}^B{\theta }^{\ast }$

---

值得注意的是，上面求的是估计量标准误差的bootstrap估计，相似地，对于我们感兴趣的任意随机变量 $R=R(\mathbf{X})$，我们希望去估计 $R$ 的分布的某些特征，例如 $R$ 的数学期望 $E(R)$，就可以按照上面所说的三个步骤进行，只是在：
第二步中对于第 $i$ 个bootstrap样本，计算 $R_i^{\ast }=R(x_1^{\ast i},x_2^{\ast i},\cdots ,x_n^{\ast i}),i=1,2,\cdots ,B$，代替计算 ${\theta }_i^{\ast }$
第三步中计算感兴趣的 $R$ 的特征，例如我们希望估计 $E(R)$ 就可以计算 $E(R^{\ast })=\frac{1}{B}\sum _{i=1}^B{R}_i^{\ast }$

Chap.II bootstrap 置信区间

设 $\text{X}=(X_1,X_2,\cdots ,X_n)$ 是来自总体 $F$ 容量为 $n$ 的样本，$x=(x_1,x_2,\cdots ,x_n)$ 是一个已知的样本值。$F$ 中含有未知参数 $\theta$，$\hat{\theta }=\hat{\theta }(X_1,X_2,\cdots ,X_n)$ 是 $\theta$ 的估计量，现在来求 $\theta$ 的置信水平为 $1-\alpha$ 的置信区间。

相继地、独立地从样本 $\mathbf{x}=(x_1,x_2,\cdots ,x_n)$ 中抽出 $B$ 个容量为 $n$ 的bootstrap 样本，对于每个 bootstrap 样本求出 $\theta$ 的bootstrap 估计：${\hat{\theta }}_1^{\ast },{\hat{\theta }}_2^{\ast },\cdots ,{\hat{\theta }}_B^{\ast }$，将它们自小到大排序得到 ${\hat{\theta }}_{(1)}^{\ast },{\hat{\theta }}_{(2)}^{\ast },\cdots ,{\hat{\theta }}_{(B)}^{\ast }$。取 $R(\mathbf{X})=\theta$，用相应的 $R({\mathbf{X}}^{\ast })={\hat{\theta }}^{\ast }$ 的分布作为 $R(\mathbf{X})$ 的分布的近似，求出 $R({\mathbf{X}}^{\ast })$ 的分布的近似分位数 ${\hat{\theta }}_{\alpha /2}^{\ast }$ 和 ${\hat{\theta }}_{1-\alpha /2}^{\ast }$ 使
P { θ ^ α / 2 ∗ < θ ^ ∗ < θ ^ 1 − α / 2 ∗ } = 1 − α P\{\hat\theta^*_{\alpha/2}<\hat\theta^*<\hat\theta^*_{1-\alpha/2} \}=1-\alpha P{θ^α/2∗​<θ^∗<θ^1−α/2∗​}=1−α
于是近似地有
P { θ ^ α / 2 ∗ < θ < θ ^ 1 − α / 2 ∗ } = 1 − α (1.5) P\{\hat\theta^*_{\alpha/2}<\theta<\hat\theta^*_{1-\alpha/2} \}=1-\alpha\tag{1.5} P{θ^α/2∗​<θ<θ^1−α/2∗​}=1−α(1.5)
记 $k_1=[B\times \frac{\alpha }{2}],k_2=[B\times (1-\frac{\alpha }{2})]$，在式(1.5)中以 ${\hat{\theta }}_{(k_1)}^{\ast }$ 和 ${\hat{\theta }}_{(k_2)}^{\ast }$ 分别作为分位数 ${\hat{\theta }}_{\alpha /2}^{\ast }$ 和 ${\hat{\theta }}_{1-\alpha /2}^{\ast }$ 的估计，得到近似等式
P { θ ^ ( k 1 ) ∗ < θ < θ ^ ( k 2 ) ∗ } = 1 − α (1.6) P\{\hat\theta^*_{(k_1)}<\theta<\hat\theta^*_{(k_2)} \}=1-\alpha\tag{1.6} P{θ^(k1​)∗​<θ<θ^(k2​)∗​}=1−α(1.6)
于是由上式就得到 $\theta$ 的置信水平为 $1-\alpha$ 的近似置信区间
$$({\theta }_{(k_1)}^{\ast },{\hat{\theta }}_{(k_2)}^{\ast })\text{\hspace{1em}(1.7)}$$
这一区间称为 $\theta$ 的置信水平为 $1-\alpha$ 的 bootstrap 置信区间。这种求置信区间的方法称为分位数法。

Chap.III bootstrap-t 法

Chap.IV 一个实例

Part.III 参数 bootstrap 方法

当所研究的总体的分布函数 $F(x;\beta )$ 的形式已知，但是其中包含未知参数 $\beta$（$\beta$可以是向量）。现在已知有一个来自 $F(x;\beta )$ 的样本 $X_1,X_2,\cdots ,X_n$，利用这一样本求出 $\beta$ 的最大似然估计 $\hat{\beta }$。在 $F(x;\beta )$ 中以 $\hat{\beta }$ 代替 $\beta$ 得到 $F(x;\hat{\beta })$，接着在 $F(x;\hat{\beta })$ 中产生容量为 $n$ 的样本 $X_1^{\ast },X_2^{\ast },\cdots ,X_n^{\ast }\sim F(x;\hat{\beta })$。这种样本可以产生很多个，就可以利用这些样本对总体进行统计推断，其做法与非参数bootstrap方法一样，这种方法称为参数bootstrap方法。

Chap.I 一个实例