参数估计（三）---贝叶斯估计

极大似然估计和极大后验概率估计，都求出了参数theta的值，而贝叶斯推断则不是，贝叶斯推断扩展了MAP（极大后验概率估计）方法，它根据参数的先验分布P(theta)和一系列观察X，求出参数theta的后验分布P(theta|X)，然后求出theta的期望值，作为其最终值。另外下面还定义了参数的一个方差量，来评估参数估计的准确程度或者置信度。

在预测新事件发生的概率时，贝叶斯推断扩展了MAP方法，具体看下面公式：

MAP:

Bayesian：

注意：一个是约等于，一个是等于。

下面举个例子，看看如何使用贝叶斯估计：

跟上一篇极大后验概率举得例子一样，N次伯努利实验，参数p（即正面的概率）的先验分布是参数为（5,5）的beta分布，然后接下来，我们根据参数p的先验分布和N次伯努利实验结果来求p的后验分布。

其中C是所有实验结果的集合Ci=1或者0。

我们最后总结一下，不难发现，参数p的先验分布是beta分布，又有以p为参数的n次伯努利实验，即二项分布，结合前两者，得到参数p的后验分布仍然是一个beta分布，这就是我们后面将会讲到的共轭分布，即二项分布和beta分布是共轭的。下一篇讲一下共轭，这里不再详述。