一.最大似然估计基础
简言之:找出与样本分布最接近的概率分布模型
结果和参数相互对应的时候,似然和概率在数值上是相等的,如果用 θ 表示环境对应的参数,x 表示结果,那么概率可以表示为:
P(x|θ)
P(x|θ)
是条件概率的表示方法,θ是前置条件,理解为在θ 的前提下,事件 x 发生的概率,相对应的似然可以表示为:
最大似然估计会寻找关于 θ的最可能的值(即,在所有可能的θ取值中,寻找一个值使这个采样的“可能性”最大化)。这种方法正好同一些其他的估计方法不同,如θ的非偏估计,非偏估计未必会输出一个最可能的值,而是会输出一个既不高估也不低估的θ值。
以二项分布的最大似然估计为例
场景:在投硬币实验中,进行N次独立实验,n次朝上,N-n次朝下
模型建立:假定朝上概率为p,使用对数似然函数作为目标函数:
最大似然估计:以p为变量求模型最大值。对p求导数,得出最大值下的p=n/N