在理解最大似然的过程中我发现,单纯的对极大似然的理论和数学公式进行解释比较晦涩难懂,下面我通过讲解一个自己设计的例子帮助理解。
例子描述
假设现在某工厂某次生产了1万个灯泡,想要知道这些灯泡的合格率(能点亮为合格)?
如果将1万个灯泡都测试一遍来计算其合格率显然是不现实的,这种情况我们可以对1万个灯泡随机采样,抽取100个灯泡并测试,假设通过测试知道这100个灯泡中80个灯泡可以被点亮,剩下20个不能点亮,那么我们就会估计这1万个灯泡的合格率为80%。
极大似然估计原理理解
上述例子的解决办法其背后的理论支撑就是极大似然估计,下面利用该例子来对极大似然的理论进行理解
- 例子分析
同一工厂同一批次的1万个灯泡,那么可以认为它们的质量是一致的,即合格率相同;该例子和二项分布实验很相似,那么我们就假设该例子符合二项分布模型Model,模型只有唯一的未知参数:合格率p,所以用参数p来表示该模型。
1万个灯泡中随机抽样100个灯泡并测试是否合格,假设测试结果为x1,x2....x100(样本);显然,每次抽样测试是相互独立互不影响的;根据假设的模型,100次抽样测试结果发生的概率就可以描述为以下公式
P(x1,x2....x100|p)=P(x1|p)P(x2|p)...P(x100|p)=p^80(1-p)^20
- 极大似然思想
上面我们假设模型为二项分布模型,但是参数p是未知的,那么参数p是如何确定的?参数p不同,100次抽样的概率值P(x1,x2....x100|p)也不同,该结果是通过实验得到的,那么我们就应该相信它是可靠的,所以在这次的抽样实验中概率值P(x1,x2....x100|p)应该是最大的,因为概率越大则可信度越高,这就是极大似然的思想,正是根据该思想来求解模型的未知参数p
- 极大似然估计数学原理
根据上面的例子我们应该知道,极大似然估计有几个前提条件:
1)模型的类型是已知的,这样我们才能构建模型的数学表达,有了数学表达才能求解模型的参数
2)采样样本是独立同分布的
有了前面的铺垫,极大似然估计的数学公式就好理解了。对于参数未知的模型,通过采样得到样本集为x1,x2...xn,样本集的联合概率密度为,又称为似然函数
极大似然估计就是求得使似然函数最大的参数,称为模型参数的极大似然估计;为了方便对参数求导,对公式两边取对数将其乘法运算转化为加法运算,得到如下公式
- 极大似然估计的求解方法
求解模型参数,必须要最大化似然函数,可以采用梯度下降等最优化方法来求解
- 总结
极大似然估计用一句话描述就是:模型的类型已知但参数未知,根据采样样本估计模型的参数