最大似然估计直观理解(简单易懂)

       在理解最大似然的过程中我发现，单纯的对极大似然的理论和数学公式进行解释比较晦涩难懂，下面我通过讲解一个自己设计的例子帮助理解。

例子描述

       假设现在某工厂某次生产了1万个灯泡，想要知道这些灯泡的合格率（能点亮为合格）？

       如果将1万个灯泡都测试一遍来计算其合格率显然是不现实的，这种情况我们可以对1万个灯泡随机采样，抽取100个灯泡并测试，假设通过测试知道这100个灯泡中80个灯泡可以被点亮，剩下20个不能点亮，那么我们就会估计这1万个灯泡的合格率为80%。

极大似然估计原理理解

       上述例子的解决办法其背后的理论支撑就是极大似然估计，下面利用该例子来对极大似然的理论进行理解

• 例子分析

       同一工厂同一批次的1万个灯泡，那么可以认为它们的质量是一致的，即合格率相同；该例子和二项分布实验很相似，那么我们就假设该例子符合二项分布模型Model，模型只有唯一的未知参数：合格率p，所以用参数p来表示该模型。

       1万个灯泡中随机抽样100个灯泡并测试是否合格，假设测试结果为x1,x2....x100(样本)；显然，每次抽样测试是相互独立互不影响的；根据假设的模型，100次抽样测试结果发生的概率就可以描述为以下公式

                       P(x1,x2....x100|p)=P(x1|p)P(x2|p)...P(x100|p)=p^80(1-p)^20

• 极大似然思想

       上面我们假设模型为二项分布模型，但是参数p是未知的，那么参数p是如何确定的？参数p不同，100次抽样的概率值P(x1,x2....x100|p)也不同，该结果是通过实验得到的，那么我们就应该相信它是可靠的，所以在这次的抽样实验中概率值P(x1,x2....x100|p)应该是最大的，因为概率越大则可信度越高，这就是极大似然的思想，正是根据该思想来求解模型的未知参数p

• 极大似然估计数学原理

       根据上面的例子我们应该知道，极大似然估计有几个前提条件：

       1）模型的类型是已知的，这样我们才能构建模型的数学表达，有了数学表达才能求解模型的参数

       2）采样样本是独立同分布的

       有了前面的铺垫，极大似然估计的数学公式就好理解了。对于参数未知的模型，通过采样得到样本集为x1,x2...xn，样本集的联合概率密度为,又称为似然函数

                                                          

       极大似然估计就是求得使似然函数最大的参数，称为模型参数的极大似然估计；为了方便对参数求导，对公式两边取对数将其乘法运算转化为加法运算，得到如下公式

                                                           

• 极大似然估计的求解方法

       求解模型参数，必须要最大化似然函数，可以采用梯度下降等最优化方法来求解

• 总结

     极大似然估计用一句话描述就是：模型的类型已知但参数未知，根据采样样本估计模型的参数