Bootstrap 与 Jackknife 笔记

[转载]：https://cosx.org/2008/11/outlook-on-statistical-methods

一般情况下，总体永远都无法知道，我们能利用的只有样本，现在的问题是，样本该怎样利用呢？Bootstrap 的奥义也就是：既然样本是抽出来的，那我何不从样本中再抽样（Resample）？Jackknife 的奥义在于：既然样本是抽出来的，那我在作估计、推断的时候 “扔掉” 几个样本点看看效果如何？既然人们要质疑估计的稳定性，那么我们就用样本的样本去证明吧。

John Fox 的那一系列附录中有一篇叫 “Bootstrapping Regression Models”，当我看到第二页用方框框标出那句话时，我才对 Bootstrap 的思想真正有了了解（之前迷茫了很长时间）。Bootstrap 的一般的抽样方式都是 “有放回地全抽”（其实样本量也要视情况而定，不一定非要与原样本量相等），意思就是抽取的 Bootstrap 样本量与原样本相同，只是在抽样方式上采取有放回地抽，这样的抽样可以进行 B 次，每次都可以求一个相应的统计量 / 估计量，最后看看这个统计量的稳定性如何（用方差表示）。Jackknife 的抽样痕迹不明显，但主旨也是取样本的样本，在作估计推断时，每次先排除一个或者多个样本点，然后用剩下的样本点求一个相应的统计量，最后也可以看统计量的稳定性如何。