杂记——贝叶斯可信区间与频率置信区间的区别

前言

 最近在学用Bootstrap计算置信区间的过程中，涉及到贝叶斯学派和频率学派置信区间的区别，我这里写下我的看法，仅供参考。

贝叶斯学派与频率学派的区别

 大家应该对贝叶斯学派与频率学派了解的比较多，网上也有很多资料，所以我就不做过多赘述了，这里我就先说下它们的区别。

 它们之间的区别是：贝叶斯学派认为参数真值不是固定的，是一个随机变量，而观察到的数据是固定的，其着眼点是参数空间，重视参数的分布，固定的操作模式是通过参数的先验分布结合样本信息得到参数的后验分布；而频率学派认为参数真值是固定的且未知的常数，观察到的数据是随机的，其着眼点在样本空间，有关的概率计算都是针对样本的分布。

贝叶斯可信区间与频率置信区间的区别

 在很多情况下，从贝叶斯或频率的角度计算得到的置信区间在数值上是一样的，但含义却不一样。

 以$95\%$置信区间为例。我们前面说到贝叶斯学派认为参数真值不是固定的，是一个随机变量，因此对于一个给定的贝叶斯$95\%$可信区间，意思是参数真值有$95\%$的概率落在我们这个区间内，这也是很直观的理解。比如，我们通过当前样本计算出的$95\%$贝叶斯可信区间为$[-2.34,4.87]$，那么参数真值有$95\%$的概率落在这个区间内。

 而频率学派认为参数真值是固定的未知的常数，因此对于一个给定的频率$95\%$置信区间，参数真值要么在这个区间内，要么不在，也就是说参数真值在这个区间内的概率要么是$1$，要么是$0$。同样，我们假设通过当前样本计算出的$95\%$频率置信区间为$[-2.34,4.87]$，如果我们从上帝视角知道参数真值是$5$，那么参数真值落在这个区间内的概率就是$0$，而我们从上帝视角知道参数真值是$0$的话，那么参数真值落在这个区间内的概率就是$1$。

 那么频率学派下的$95\%$置信区间是什么意思呢？我们前面说到频率学派认为样本数据是随机的，也就是样本数据是可以重复多次获得的。对于每一个样本数据，用我们的构造$95\%$置信区间的方法，比如$[\bar{X}-Z_{\frac{\alpha }{2}}\ast Se(X),\bar{X}+Z_{\frac{\alpha }{2}}\ast Se(X)]$，都能得到一个新的置信区间（可能它们之间的差别很小）。在这些置信区间中，有$95\%$的置信区间是包含参数真值的。也就是说，$95\%$ 是对构造置信区间的方法的描述，不是某个区间本身。举个例子，假设参数真值为$5.24$，我们重复取样$100$次，用构造置信区间的方法就能得到$100$个置信区间，在得到这$100$个置信区间之前，我们可以说这$100$个置信区间中，有$95$个左右包含参数真值$5.24$。

 还可以从另一个角度理解频率学派下的$95\%$置信区间。假设我们还没有取样，但已经制定好取样后构造$95\%$置信区间的方法。我们可以说取样一次以后，获得的那个置信区间（现在还不知道）包含真值的概率是$95\%$。然而在取样并得到具体的一个区间之后，在频率学派框架下就无法讨论这个区间包含真值的概率了。即取样前能讨论，取样后却无法讨论。

总结

 贝叶斯可信区间与频率置信区间的区别主要是由两个学派对参数真值的看法不同：贝叶斯学派认为参数真值是一个随机变量，频率学派认为参数真值是一个未知的常数。而这也是贝叶斯学派和频率学派最本质上的不同。

参考：如何理解 95% 置信区间？