最大似然估计

最大似然估计

原理

给定一个概率分布D，假定其概率密度函数（连续分布）或概率聚集函数（离散分布）为fD，以及一个分布参数θ，我们可以从这个分布中抽出一个具有n个值的采样X1,X2,...,Xn，通过利用fD，我们就能计算出其概率：

但是，我们可能不知道θ的值，尽管我们知道这些采样数据来自于分布D。那么我们如何才能估计出θ呢？一个自然的想法是从这个分布中抽出一个具有n个值的采样X1,X2,...,Xn，然后用这些采样数据来估计θ。

一旦我们获得，我们就能从中找到一个关于θ的估计。最大似然估计会寻找关于 θ的最可能的值（即，在所有可能的θ取值中，寻找一个值使这个采样的“可能性”最大化）。这种方法正好同一些其他的估计方法不同，如θ的非偏估计，非偏估计未必会输出一个最可能的值，而是会输出一个既不高估也不低估的θ值。

要在数学上实现最大似然估计法，我们首先要定义可能性：

并且在θ的所有取值上，使这个函数最大化。这个使可能性最大的值即被称为θ的最大似然估计。 [1] 

最大似然估计的一般求解步骤

编辑

基于对似然函数L(θ)形式(一般为连乘式且各因式>0)的考虑，求θ的最大似然估计的一般步骤如下：

(1)写出似然函数

总体X为离散型时：

总体X为连续型时：

(2)对似然函数两边取对数有

总体X为离散型时：

总体X为连续型时：

(3)对

  

求导数并令之为0：

此方程为对数似然方程。解对数似然方程所得，即为未知参数 的最大似然估计值。 [1] 

例题

编辑

设总体X~N(μ，σ2)，μ，σ为未知参数，X1,X2...,Xn是来自总体X的样本，X1,X2...,Xn是对应的样本值，求μ与σ2的最大似然估计值。 [1] 

解：X的概率密度为

可得似然函数如下：

取对数，得

令

解得

故μ和σ的最大似然估计量分别为