【统计学】最大似然估计和最大后验估计

两个方法都是基于样本去估计系统（总体）参数的估计方法，因此经常会被拿到一起来说。

最大似然估计

最大似然估计（maximum likelihood estimation，简称MLE）很容易理解，在生活生活中其实也经常用到，看下面一个例子：

一个箱子中有白球和黑球共1000个，但是我们并不知道白球和黑球各多少个（当然这里不允许把箱子里的球倒出来逐个数），此时我们就可以用抽样的方法去估计箱子里黑白两种球的分布。假设我们抽了100次，得到的结果是70次黑球和30次白球，那么我们很自然的可以估计箱子里面有700个黑球，300个白球。你看，这是生活中我们非常自然的意识，但这其中却是用到了最大似然估计的原理哦~

在上面的例子中，我们假设总体为X，箱子里面黑球的真实概率为$p$，产生我们抽样结果（即抽到70次黑球）为事件$\theta$，那么发生每次抽取后结构为有70个黑球和30个白球的情况的概率为：$$P(\theta |X)=p^{70}\ast (1-p{)}^{30}$$
此处的$P(\theta |X)$就是我们说的似然函数。

最大似然估计可以理解为：选择让抽样结果发生的概率最大的参数作为总体被估计的参数。 也就是说，我们要让似然函数最大，这就很简单了，只要对上式求导即可，这时候你可能会说：对上式求导一点都不简单，哈哈哈~ 那试试先取对数再求导呢？实际上在运用最大似然估计时，一般都不是直接对似然函数求导，而是对对数似然函数求导，因为似然函数的形成其实就是一系列的条件概率相乘而得来的。

我们总结一下：

• 最大似然估计的终极目标：选择一个参数作为系统参数的估计值，让抽样结果发生的概率（似然概率）最大
• 最大似然估计步骤：
  • 求出似然函数
  • 对似然函数或对数似然函数求导，令方程等于0
  • 解方程求出参数， 该参数作为总体参数的估计量
• 另外要注意的是，在上述抽样步骤中，正确的做法是：每抽出一个球记录颜色再放回，而不知直接在箱子里抽取100个球。因为我们需要保证：每次抽样样本颜色跟箱子里球的颜色是同分布的
• 最大似然估计在大数据量的情况下发挥比较好。

最大后验估计

最大后验概率估计（Maximum a posteriori estimation, 简称MAP），也是用样本估计整体，但是在使用时需要加上先验条件，最大后验估计的基础是贝叶斯公式。举一个网上的例子：

我们需要估算抛硬币正面朝上的概率，在做测试时只允许抛10次，在这10次中，恰好全部是正面朝上的，如果根据极大似然估计的思想，那么抛硬币正面朝上的概率是1，这无疑是不严谨的。因此在最大后验估计中，会设置一个先验条件，如抛硬币实验中，可设置的先验条件为$P($