概念
-
标准差:衡量单次抽样中样本的离散程度。
-
样本均值标准误:也就是对某个样本进行多次抽样,每次都可以计算样本均值。然后这些样本均值的标准差被称作样本均值标准误。
样本均值标准误衡量了样本均值和总体均值的差距,也就是基于当前数据得到的样本均值的可信程度。
那么对于一般统计量的标准误,也可以如此进行定义。
统计的理论尝试去解决三类问题
- 找数据
- 分析总结数据
- 结论的可信度
问题3包含了一部分统计推断的的过程。
bootstrap 是一种对一些类别的问题进行统计推断的方法。
why and when bootstrap methods works, 以及它们怎样应用在实际中。
The accuracy of a sample mean
The estimated standard error of(标准误) a mean
x
ˉ
\bar x
xˉ based on n independent data points is given by the formula:
s
2
n
\sqrt{\frac{s^2}{n}}
ns2
where s 2 = ∑ i = 1 n ( x i − x ˉ ) 2 / ( n − 1 ) s^2 = \sum\limits_{i = 1}^{n}(x_i - \bar x)^2 / (n - 1) s2=i=1∑n(xi−xˉ)2/(n−1)
注:我们知道对于正态总体,样本均值
x
ˉ
∼
N
(
μ
,
σ
2
n
)
\bar{x} \sim N(\mu, \frac{\sigma^2}{n})
xˉ∼N(μ,nσ2)
,所以可以用上式来估计样本均值的标准误。
粗略的讲(对于正态总体),一个estimator 的值在其均值加减一倍标准误之间的概率是68%,在其均值加减两倍标准误之间的概率是95%。
这种方法的缺点在于除了均值这个estimator 以外,其他的estimator 没有这样好的公式了。
如想使用中位数,一个是94, 一个是46,差是48, 那么怎么估计这两个中位数的准确度呢?
使用bootstrap!
统计量 s ( x ⃗ ) s(\vec{x}) s(x)的标准误的估计(bootstrap method)
设我们观测到独立的数据点
x
⃗
=
(
x
1
,
x
2
,
.
.
.
x
n
)
\vec{x} = (x_1, x_2, ...x_n)
x=(x1,x2,...xn),我们关注的统计量是
s
(
x
⃗
)
s(\vec{x})
s(x)
The bootstrap estimate of standard error:
一个bootstrap 样本
x
∗
⃗
=
(
x
1
∗
,
x
2
∗
,
.
.
.
x
n
∗
)
\vec{x^*} = (x_1^*, x_2^*, ...x_n^*)
x∗=(x1∗,x2∗,...xn∗)是通过独立放回取样n次得到的。
例如:n = 7,我们可能得到 x ∗ ⃗ = ( x 5 , x 7 , x 5 , x 4 , x 7 , x 3 , x 1 ) \vec{x^*} = (x_5, x_7, x_5, x_4, x_7,x_3, x_1) x∗=(x5,x7,x5,x4,x7,x3,x1)
图2.1是bootstrap 过程的流程图。bootstrap 算法从产生大量独立的bootstrap 样本 x ∗ 1 ⃗ , . . . x ∗ B ⃗ \vec{x^{*1}}, ... \vec{x^{*B}} x∗1,...x∗B, 每一个都有n个分量开始。对于估计标准误, B一般取50 到 200。
对应于每一个 bootstrap 样本,有一个统计量 s 的 bootstrap replication, 称为
s
(
x
∗
b
)
s(x^{*b})
s(x∗b),那么可以估计出统计量
s
(
x
⃗
)
s(\vec{x})
s(x)的标准误:
s
e
b
o
o
t
=
{
∑
b
=
1
B
[
s
(
x
∗
b
⃗
)
−
s
(
⋅
)
]
2
/
(
B
−
1
)
}
1
2
se_{boot} = \{\sum\limits_{b = 1}^{B}[s(\vec{x^{*b}})-s(\cdot)]^2 / (B - 1)\}^{\frac{1}{2}}
seboot={b=1∑B[s(x∗b)−s(⋅)]2/(B−1)}21
s ( ⋅ ) = ∑ b = 1 B s ( x ∗ b ⃗ ) / B s(\cdot) = \sum\limits_{b = 1}^{B} s(\vec{x^{*b}}) / B s(⋅)=b=1∑Bs(x∗b)/B
以下是样本均值和中位数的标准误的bootstrap估计。
bootstrap 方法通过自采样解决了小样本问题中统计量的标准误的估计问题。
标准误是衡量统计量的精确度的最简单的标准,后面的chapter会展示如何评价更加精确的度量标准, 如biases,predicton errors, confidence intervals。