数理统计与概率知识杂谈

引言：18世纪大量天文观测数据的积累催生了一系列发展沿用至今的数学成果，其中包括现代的统计概率、微积分等；现在大数据时代又为我们提供了挑战和机遇，但现在的机器学习和数据分析依赖的仍然是成熟的经典数学方法，在最近或者可见的未来中是不是会有新的被后世奉为经典的数学理论的诞生呢？

1. 贝叶斯学派和频率学派：

往大里说，世界观就不同，频率派认为参数是客观存在，不会改变，虽然未知，但却是固定值；贝叶斯派则认为参数是随机值，因为没有观察到，那么和是一个随机数也没有什么区别，因此参数也可以有分布，个人认为这个和量子力学某些观点不谋而合。 
往小处说，频率派最常关心的是似然函数，而贝叶斯派最常关心的是后验分布。我们会发现，后验分布其实就是似然函数乘以先验分布再normalize一下使其积分到1。因此两者的很多方法都是相通的。贝叶斯派因为所有的参数都是随机变量，都有分布，因此可以使用一些基于采样的方法（如MCMC）使得我们更容易构建复杂模型。频率派的优点则是没有假设一个先验分布，因此更加客观，也更加无偏，在一些保守的领域（比如制药业、法律）比贝叶斯方法更受到信任。

2. 正态分布与二项分布：

可以这样认为，最简单的抛硬币或者赌博问题（二项分布）不断地推导演化，繁衍出了一系列的概率分布，其中包括正态分布。