最近paper上看到了很多贝叶斯估计的问题,总结一下网上的贝叶斯估计相关知识。
贝叶斯公式:
最大似然估计:
实际上是求了红线框起来的部分
最大后验估计:
实际上是去求了红线框起来的部分。比最大似然估计多了一个参数的概率,认为参数也有概率。最大后验估计(maximum a posteriori estimation,MAP),它与极大似然估计最大的区别就是,它考虑了参数本身的分布,也就是先验分布。
贝叶斯估计:
此时不直接估计参数的值,而是允许参数服从一定概率分布。即也要求出p(x)来。
贝叶斯学派:
新观察到的样本信息将修正人们以前对事物的认知。换言之,在得到新的样本信息之前,人们对的认知是先验分布,在得到新的样本信息X后,人们的认知为后验分布。
频率与贝叶斯学派的分歧:
频率派认为参数是客观存在,不会改变,虽然未知,但却是固定值;贝叶斯派则认为参数是随机值,因为没有观察到,那么和是一个随机数也没有什么区别,因此参数也可以有分布。
频率派最常关心的是似然函数,而贝叶斯派最常关心的是后验分布。我们会发现,后验分布其实就是似然函数乘以先验分布再normalize一下使其积分到1。因此两者的很多方法都是相通的。