最大后验估计与共轭分布

• 最大后验分布

• 先验信息

先验信息是指获得样本的试验之前，获得的经验和历史资料。

• 先验分布

将总体中的未知参数看成一个取值于的随机变量，它有一概率分布，记为，称为参数的先验分布。

• 后验概率

在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本，和参数的联合密度函数是：

在这个联合密度函数中，当样本给定之后，未知的仅是参数了，我们关心的是样本给定后，的条件密度函数，依据密度的计算公式：，称为后验概率。

• 最大后验估计

找到一个，使后验概率最大。

• 先验概率怎么取

假设信息较少，甚至没有什么有用的先验信息，就可以用区间(0,1)上的均匀分布。

 

• 共轭分布

参数的贝叶斯估计，首先要利用以往关于参数的信息，确定参数的先验分布，如果没有任何以往的信息来帮助我们确定参数的先验分布，贝叶斯学派提出，用均匀分布作为参数的先验分布，即参数在它的变化范围内，取到各个值的机会是相同的，这种确定先验分布的原则称为贝叶斯假设。

当参数取值范围有限，用均匀分布作为参数的先验分布是合理的。但是当其取值范围无限，就会造成运算困难，为克服这一困难，提出常见的共轭先验分布的方法：

设是总体分布中的某个需研究参数（或参数向量），是的先验密度函数，若通过抽样数据算得的后验密度函数与先验密度函数有相同的函数形式，则称是的共轭先验分布。