参数估计（二）----极大后验概率估计

Maximum a posteriori estimation（极大后验概率估计），和ML（极大似然估计）相似，只不过是考虑了参数的先验分布。

还是贝叶斯公式：

极大后验概率，顾名思义，即：

根据贝叶斯公式转换一下，

注意：（1）在转化的时候P(X)直接删除了。（2）与极大似然估计的公式比较发现，多了一个先验分布项。

通过加上这个先验分布项，我们可以编码额外的信息，并且可以避免参数的过拟合问题。

我们认为，theta也是服从一个先验分布的：alpha是他的超参数

和前面计算极大似然估计相同，求出上面的表达式之后，通过偏导数置为0，求参数值：

求出参数值之后，当然接下来就要预测了，

接下来，我们再通过一个例子来加深理解：

还是上一篇讲到的掷硬币，只不过与ML不同的是，我们这里考虑到了参数p的先验分布（即是正面的概率），我们认为这个硬币是均匀的，因此p 很大可能是约等于0.5的，因此，我们对参数p选择了beta分布，beta分布的值介于0和1之间，因此可行：

其中a，b是超参数。

观察上面的图，因为我们先验认为p约等于0.5，因此超参数a和b是相等的，我们这里选择等于5.

与ML方法相比，这里分子分母上分别多了（a-1）和（a+b-2），我们称这两者为pseudo count伪计数，这两项的作用是使总概率p向0.5拉近，因为我们的先验认为就是约等于0.5的。