这篇博客探讨了似然与概率的区别，强调在统计学中，似然是已知结果预测参数的可能性，而概率是已知参数预测结果的概率。重点介绍了最大似然估计（MLE）方法，解释了如何通过求导找到使似然函数最大的参数值，并讨论了在多变量情况下使用对数似然函数简化求导的过程。此外，还详细阐述了EM算法在处理含有隐变量时寻找最大似然估计的步骤。最后，文章提到了似然比检验，用于检验特定假设的有效性，其基于似然函数最大值的比较。
1.似然与概率
非正式场合，似然（likelihood function/likelihood）与概率（probability）几乎是一对同义词，但统计学中概念不同。
- 似然：已知结果，预测产生该结果的可能环境参数，如： L ( θ ∣ x ) L(\theta|x) L(θ∣x)。
- 概率：已知环境参数，预测发生某种结果可能性，如： P ( x ∣ θ ) P(x|\theta) P(x∣θ)。
其中：
x x x：结果。
θ \theta θ：环境参数。
当结果与环境参数相互对应时，似然的值=概率的值，即： L ( θ ∣ x ) = P ( x ∣ θ ) L(\theta|x) = P(x|\theta) L(θ∣x)=P(x∣θ)。
2.似然函数的最大值
- 似然函数值大含义：在该环境参数 θ \theta θ下产生该结果 x x x的可能性大。
- 最大值求法：似然函数对环境参数 θ \theta θ求导，导数等于0处似然值最大。
- 最大似然估计（MLE）：似然求导，导数为0时的环境参数 θ \theta θ。
- 问题：n元变量，多项乘积求导难。
3.对数化似然函数
L = ∏ i = 1 N p i L=\prod_{i=1}^N{p_i} L=∏
最低0.47元/天 解锁文章
扫一扫
367
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
