最大似然估计

　　最大似然估计，貌似最没用一种数学方法。一般情况下，其计算结果凭直觉就能猜出来。或许特殊情况下，当问题超出人类直觉能力时，这种方法会有用武之地。
　　
　　我们先来看一个例子。

例子

[例] 从一批产品中随机抽取５件，经过测试，其中１件不合格。问这批产品不合格率是多少？

　　
　　所谓不合格率，就是不合格的总数量除以这一批产品的总数量。换句话讲，就是任意抽取一件，产品不合格的概率。
　　
　　这个问题猪脑袋也能想明白呀！不合格率：
　　

$$p=\frac15$$

质疑

　　面对上面的做法，必然会有以下疑问：
　　

问：用抽样产品的合格率估计整体合格率，为什么可以这样做？ 　　
答：不这样做，难道还有更好的选择吗？

问：为什么没有更好地选择了？ 　　
答：如果有，你给我找出来呀！

　　
　　难道说，暂时找不到更好的方法，就意味着不存在更好的办法了吗？最大似然估计，能够给上述的做法做出一个合理的解释。

最大似然估计给出的解释

　　利用最大似然估计方法，可以证明，当整体合格率是 $\frac15$ 时，抽取5个样品，出现1个不合格这样一种抽样结果的概率最大。证明方法如下：
　　
　　假设不合格率为 $p$，则当前抽样结果出现的概率为：

$$L(p) = p(1-p)^4$$
　　两边取对数，得

$$l(p)=ln(L(p))=ln(p)+4ln(1-p)$$ 　
　　接下来看看 $p$取何值，$L(p)$ 取得最大值。上式对 $p$ 求导
$$\frac{\partial l(p)}{\partial p}=\frac1p-\frac4{1-p}=0$$
解得，
$$p=\frac15$$
　
　　也就是说，整体不合格率为 $\frac15$时，产生上述抽样结果的概率最大。说不上多有道理，但是最大似然估计给人类的直觉找到了一个貌似合理的解释。
　　
　　最大似然估计是建立在这样的思想上： 已知某个参数能使这个样本出现的概率最大，而其它参数使这个样本出现的概率减小，所以干脆就把这个参数作为估计的真实值。
　　

最大似然估计的一般模式

　　
　　假设学生考试成绩符合正态分布，
　　

$$p(x)=\frac1{\sqrt{2\pi}\sigma}exp(-\frac{(x-\mu)^2}{2\sigma^2})$$
　　我们随机抽取3个成绩 $x_1、x_2、x_3$。用最大似然估计的方法判断一下这次考试的平均成绩。哈哈，你可能已经猜到答案了！不过，建议还是耐心看一下计算过程，了解一下这种方法。

　　1、构造似然函数：似然函数实际上就是当前抽样结果出现的概率。本问题要估值的参数是均值 $\mu$，因此，似然函数的自变量就是 $\mu$,

$$L(\mu)=p(x_1)p(x_2)p(x_3)$$

　　2、两边取对数，

$$l(\mu)=ln(L(\mu))=ln(p(x_1))+ln(p(x_2))+ln(p(x_3))$$
把正态分布表达式代入，化简，
$$l(\mu)=-\frac{(x_1-\mu)^2}{2\sigma^2}-\frac{(x_2-\mu)^2}{2\sigma^2}-\frac{(x_3-\mu)^2}{2\sigma^2}+C$$
　　3、求导，求极大值
$$\frac{\partial l(\mu)}{\partial \mu}=K(x_1+x2+x3-3\mu)=0$$
于是， $\mu$取下面的值时，本抽样结果出现的概率最大，
$$\mu=\frac{x_1+x_2+x_3}3$$

　　前面推导过程中，$C、K$ 表示常数项。

　　虽然经过一番高等数学的推导，结果和用小学数学知识计算的结果完全一样。这一结果再次表明，最大似然估计真是毫无用途的统计方法呀！