parametric bootstrap参数估计抽样方法的R实现

Bootstrap：

在统计学中，自助法（Bootstrap Method，Bootstrapping或自助抽样法）是一种从给定训练集中有放回的均匀抽样，也就是说，每当选中一个样本，它等可能地被再次选中并被再次添加到训练集中。当样本来自总体，能以正态分布来描述，其抽样分布(Sampling Distribution)为正态分布(The Normal Distribution)；但当样本来自的总体无法以正态分布来描述，则以渐进分析法、自助法等来分析。采用随机可置换抽样(random samplingwith replacement)。对于小样本，自助法效果很好。

Bootstrap 属于非参数统计中一种重要的估计统计量方差进而进行区间估计的统计方法。是一种非参数的蒙特卡洛方法，其实质是对观测信息进行再抽样，进而对总体的分布特性进行统计推断。其核心思想和基本步骤如下：

1. 采用重抽样技术从原始样本中抽取一定数量（自己给定）的样本，此过程允许重复抽样。
2. 根据抽出的样本计算给定的统计量T。
3. 重复上述N次（一般大于1000），得到N个统计量T。
4. 计算上述N个统计量T的样本方差，得到统计量的方差。

Bootstrap通过方差的估计可以构造置信区间等，其运用范围得到进一步延伸。

具体抽样方法举例：
想要知道池塘里面鱼的数量，可以先抽取N条鱼，做上记号，放回池塘。
进行重复抽样，抽取M次，每次抽取N条，考察每次抽到的鱼当中有记号的比例，综合M次的比例，在进行统计量的计算。

R实现：

对样本为3, 5, 7, 9, 11, 13的二项分布进行parametric bootstrap过程：

# Data from binomial(15, θ) for an unknown θ
x = c(3, 5, 7, 9, 11, 13)
binomSize = 15 # known size of binomial
n = length(x) # sample size
thetahat = mean(x)/binomSize # MLE for θ
nboot = 5000 # number of bootstrap samples to use
# nboot parametric samples of size n; organize in a matrix
tmpdata = rbinom(n*nboot, binomSize, thetahat)
bootstrapsample = matrix(tmpdata, nrow=n, ncol=nboot)
# Compute bootstrap means thetahat* and differences delta*
thetahatstar = colMeans(bootstrapsample)/binomSize
deltastar = thetahatstar - thetahat
# Find quantiles and make the bootstrap confidence interval
d = quantile(deltastar, c(.1,.9))
ci = thetahat - c(d[2], d[1])

涉及的R语言知识：

rbinom(n, size, prob)：
n是所需满足该分布的随机数的个数，size是试验次数（number of trials (zero or more)），prob是二项分布的概率。
比如你要生成100个服从B(10,0.5)分布的随机数，命令就应该是rbinom(100,10,0.5)。

quantile()：
求分位数