先验概率和后验概率_贝叶斯方法理解（1）— 从先验到后验

这一学期学了贝叶斯统计，因此想在这里结合上课内容和个人的理解做一个总结。我将把所有内容拆分为几个部分分别展开，如有问题，还请大家不吝赐教。

第一篇主要聊一聊贝叶斯学派和频率学派的区别，以及一些贝叶斯方法最重要的概念，后验分布的计算。

---

引言

贝叶斯方法和频率学派方法的区别，能找的的比较多的解释是，“他们看待世界的方式不相同，获得了一组随机样本，频率学派认为总体的参数是不变的，样本是随机获取的；而贝叶斯学派认为总体参数是随机的，而获样本是不变的。”频率学派的观点很像柏拉图的实在论一样，因此大部分人举例的时候喜欢用上帝视角来解释（上帝才知道真实的均值）。如果总体参数固定，那么随机获得的样本就是理想实体的不完美映射。相应的，如果获得了这些样本（证据），利用极大似然法，推断出获得这些样本最有可能的参数。直观的反驳就是，如果刚好这些样本取自概率较小的值，比如中彩票了，那推断出来的参数不就有问题了吗？因此就解释结果而言，频率学派的概念比如置信区间，p值等都应该是‘long run conclusion’,也就是结论应该结合‘如果实验一直做下去’，比如，95%置信区间的含义是，如果做100次实验得出100个置信区间，那么有大约95个包含真实参数。

相比之下，贝叶斯学派不太关心正确的参数到底是多少，而是需要通过获取的数据加上先验知识得出后验概率进行统计推断。比如想推断学校的男女比例，随机抽样了10个人，其中2男8女，频率学派会得出男生占20%的结论，因为样本就是证据，有且仅有的证据。当然，如果样本量更大，那肯定更接近于真实值，但在现实生活中，有时候样本的获取成本非常高，或者因为各种原因无法获取。贝叶斯方法则会考虑先前经验，比如前几年的调查数据，或者专家知识（这是一所理工大学，男女比例1:9）