hlda周边—贝叶斯学派和频率学派

学习hlda时候，涉及到的贝叶斯学派和频率学派的相关内容，

转载了很多人的相关理解，网址列出：http://aimit.blog.edu.cn/home.php?mod=space&uid=1555054&do=blog&id=227930

                                                             http://aimit.blog.edu.cn/home.php?mod=space&uid=1555054&do=blog&id=227930

person 1：

这个区别说大也大，说小也小
往大里说，世界观就不同，频率派认为参数是客观存在，不会改变，虽然未知，但却是固定值；贝叶斯派则认为参数是随机值，因为没有观察到，那么和是一个随机数也没有什么区别，因此参数也可以有分布，个人认为这个和量子力学某些观点不谋而合。
往小处说，频率派最常关心的是似然函数，而贝叶斯派最常关心的是后验分布。我们会发现，后验分布其实就是似然函数乘以先验分布再normalize一下使其积分到1。因此两者的很多方法都是相通的。贝叶斯派因为所有的参数都是随机变量，都有分布，因此可以使用一些基于采样的方法（如MCMC）使得我们更容易构建复杂模型。频率派的优点则是没有假设一个先验分布，因此更加客观，也更加无偏，在一些保守的领域（比如制药业、法律）比贝叶斯方法更受到信任。

person 2：

有人学了多年统计说不清楚频率学派与贝叶斯学派的区别，什么主观对客观啦，什么似然函数对后验概率啦，那些都是现象，不是本质。两者本质上的区别是：频率学派把未知参数看作普通变量，把样本看作随机变量；而贝叶斯学派把一切变量看作随机变量。数学与统计学最大的区别在于数学研究的是变量，而统计学研究的是随机变量。对统计学家来说，把一切变量看作随机变量是更自然的事。
如果说贝叶斯学派是纯粹的统计学家，那么频率学派就是数学统计学家，尚处在从数学向统计学过渡的中间阶段，好比蝌蚪。既然你已经从鱼变成了青蛙，为什么还要保留尾巴呢？

person 3：

频率学派与贝叶斯学派的区别主要是是否允许先验概率分布的使用。频率学派并不把所有参数看作普通变量（我想应该是known or unknown fixed variable,姑且用你的名词），比如hierarchical model和random effect model。而贝叶斯学派在先验分布中也有普通变量,比如hyperprior parameter。

贝叶斯的好处在于贝叶斯的推断问题相对简单，点估计，区间估计和假设检验全部可以由后验分布得到，尤其是计算机技术的发展和MCMC方法的出现使得
非共轭后验分布的使用和计算成为可能。而且它的理论架构天然符合人渐进的认识规律。

但是贝叶斯(Full Bayesian)的问题在于，无信息先验已经被证明是不存在的。所有的先验在参数变换后都不可避免的带有主观性。而频率学派用最大似然估计(MLE)则没有这个问题。频率学派的困难在于如何利用前人已有经验和枢轴统计量的构造。

以上，贝叶斯和频率学派的争论，大致看看，继续看详细的应用吧，继续非参贝叶斯模型~~~