极大似然估计法

极大似然估计法

如果总体X为离散型

假设分布率为P=p(x;θ)P=p(x;θ),x是发生的样本,θθ是代估计的参数,p(x;θ)p(x;θ)表示估计参数为θθ时,发生x的的概率。

那么当我们的样本值为:x1,x2,...,xnx1,x2,...,xn时,

L(θ)=L(x1,x2,...,xn;θ)=i=1np(xi;θ)L(θ)=L(x1,x2,...,xn;θ)=∏i=1np(xi;θ)

其中L(θ)L(θ)成为样本的似然函数。

假设

L(x1,x2,...,xn;θ^)=maxθΘL(x1,x2,...,xn;θ)L(x1,x2,...,xn;θ^)=maxθ∈ΘL(x1,x2,...,xn;θ)

有 θ^θ^ 使得 L(θ)L(θ) 的取值最大,那么 θ^θ^就叫做参数 θθ 的极大似然估计值。

如果总体X为连续型

基本和上面类似,只是概率密度为f(x;θ)f(x;θ),替代p。

解法

  1. 构造似然函数L(θ)L(θ)
  2. 取对数:lnL(θ)lnL(θ)
  3. 求导,计算极值
  4. 解方程,得到θθ

解释一下,其他的步骤很好理解,第二步取对数是为什么呢?

因为根据前面你的似然函数公式,是一堆的数字相乘,这种算法求导会非常麻烦,而取对数是一种很方便的手段:

  • 由于ln对数属于单调递增函数,因此不会改变极值点
  • 由于对数的计算法则:lnab=blnalnab=blnalnab=lna+lnblnab=lna+lnb ,求导就很方便了

例子这里就不举了,感兴趣的话,可以看看参考的第二篇里面有好几个求解极大似然估计的例子。

阅读更多

没有更多推荐了,返回首页