频率学派（似然估计）与贝叶斯学派（后验估计）

最新推荐文章于 2022-08-31 23:53:09 发布

ty丶ziaaaaa

最新推荐文章于 2022-08-31 23:53:09 发布

阅读量1.1k

点赞数 2

分类专栏：统计学习方法文章标签：频率学派与贝叶斯学派极大似然与最大先验

本文链接：https://blog.csdn.net/weixin_43120439/article/details/100564893

版权

“若是心怀旧梦，就别再无疾而终！”

频率学派与贝叶斯学派

作为统计学的两大学派，由于对统计推断的观点不一致，相应的方法也不一样。本文主要小结两派思想的区别，并结合实例对两种思想对应的方法进行阐述。
频率学派：代表人物：费舍尔（极大似然估计&多种抽样分布），皮尔逊（pearson卡方检验），内曼（置信区间&假设检验）。
贝叶斯学派：贝叶斯（贝叶斯公式）刚开始提出时遭到频率学派的疯狂打压，后经过拉普拉斯之手发扬光大。

思想上的区别

1、先验
频率学派认为在无限次抽样中，决策的规则可以很精确，而且不应该存在先验，应该客观地分析；贝叶斯学派则认为未知的变量和事件都存在一定的概率，会不断变化（后验对先验的修正），而且对变量的估计是可以使用先验的（具体意义后面结合实例阐述）。即在对模型的估计中应不应该加入先验知识的矛盾。
2、参数
频率学派认为参数客观存在，不会改变，虽然未知，但是为定值；贝叶斯学派认为参数是随机量，也是存在分布的。即模型参数唯一存在还是以分布的形式存在的矛盾。

两种思想分别提出了参数估计的两种方法：极大似然估计(MLE,maximum Likelihood Estimation)和最大后验估计(MAP,Maximum A Posteriori)。

下面以抛硬币为例，对上述内容进行解释，进行10次抛硬币实验，最后得到5次正面上，5次正面下，估计每次投币正面朝上的概率 $θ$ 。

方法的区别

最大似然估计
首先补充似然函数 $L (θ)$ 的概念，似然函数是参数 $θ$ 的函数，数值上等于参数为 $θ$ 时，样本 $x$ 出现的概率，似然函数值越大，表示该值对应的参数 $θ$ 成立的可能性越大，这种可能性用概率来描述，即数值上与样本 $x$ 概率相等。
$\sum_{i=1}^n P(x|θ)=θ^5(1-θ)^5$ 似然函数取最大值时 $θ$ 的取值就是最大似然估计的结果，由上式可以得到 $θ$ 的估计值为0.5。但是如果换另一种情况，10次抛硬币，结果是10次朝上，那么最大似然估计的结果就是 $θ$ =1。