极大似然估计
martin
极大似然估计基本原理:最大化似然函数
定义:假设样本
{X1,X2,...Xn}
服从概率密度函数
fθ(x)
。其中,
θ=(θ1,θ2,...θk)
是未知参数。当固定
x
的时候
注意
:似然函数不是概率,但是很类似于概率。当
θ
给定的时候,他是概率密度。当
x
给定的时候,
L(θ1)<L(θ2)
那么我们就可以说
P(θ=θ1)<P(θ=θ2)
假设
x=(x1,x2,...xn)
是样本的观测值,那么整个样本的似然函数就是:
Lx(θ)=∏i=1nLxi(θ)
这是一个关于 θ 的函数,选取使得 Lx(θ) 最大化的 θ^ 作为 θ 的估计量。
最大化似然函数
θ
,相当于最大化似然函数的对数:
lx(θ)=log(Lx(θ))
。一般我们求解似然函数或者对数似然函数的驻点方程为:
dl(θ)dθ=0
然后判断这个驻点是否是最大点(求驻点可以用牛顿法或者梯度下降法等等)。