机器学习之极大似然估计的详细理解

极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。

---

求最大似然估计量 $\hat\theta$ 的一般步骤：

1. 写出似然函数
2. 对似然函数取对数，并整理
3. 求导数

4. 解似然方程。

   最大似然估计的特点：

   1） 比其他估计方法更加简单
   2）收敛性：无偏或者渐进无偏，当样本数目增加时，收敛性质会更好
   3）如果假设的类条件概率模型正确，则通常能获得较好的结果。但如果假设模型出现偏差，江东安置非常差的估计结果。

   ---

   最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。
   极大似然原理最简单的理解就是：样本所展现的状态便是所有可能状态中出现概率最大的状态。

   多数情况下我们是根据已知条件来推算结果，而最大似然估计是已经知道了结果，然后寻求使该结果出现的可能性最大的条件，以此作为估计值。

   ---

极大似然估计的例子：

现在有一个黑箱子里面有标有1或2的球共100个，现在从中有放回的抽取10个球，结果为{1,2,2,2,1,2,2,1,2,2}，估计标有1的球在黑箱子里面有多少个。

我们不妨把标有1的球设为$\theta$ 个，那么抽到1的概率$P(x=1)=\frac{\theta}{100}$，这里简单记做p，则产生实验结果{1,2,2,2,1,2,2,1,2,2}的概率为$P = p^3*(1-p)^7$，这里的待估计参数为 $\theta$ ，但是为了方便不妨把待估参数看做$p\ (p=\frac{\theta}{100})$。那么极大似然估计法的目标就是调整p使得总概率P最大！换句话说，P是一个关于p的函数，不妨记做$P(p)$。
为了后续计算，对P取对数。

$l(p) = ln(P(p)) = 3ln(p) + 7ln(1-p)$

为了使$l(p)$最大，那么求导可知

∂l∂p=3p−71−p