极大似然估计详解

转自：https://blog.csdn.net/qq_39355550/article/details/81809467

原理：极大似然估计是建立在极大似然原理的基础上的一个统计方法，提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大。

总结：极大似然估计利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。即MLE的目标是找出一组参数(模型中的参数)，使得模型产出观察数据的概率最大。

记已知的样本集为：

  似然函数（linkehood function）：联合概率密度函数称为相对于的θ的似然函数。

 如果是参数空间中能使似然函数最大的θ值，则应该是“最可能”的参数值，那么就是θ的极大似然估计量。它是样本集的函数：

极大似然估计量求解：

实际中为了便于分析，定义了对数似然函数：

1. 未知参数只有一个（θ为标量）

在似然函数满足连续、可微的正则条件下，极大似然估计量是下面微分方程的解：

2.未知参数有多个（θ为向量）

则θ可表示为具有S个分量的未知向量：

记梯度算子：

 若似然函数满足连续可导的条件，则最大似然估计量就是如下方程的解。

方程的解只是一个估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。

极大似然估计的例子

  例1：设样本服从正态分布，则似然函数为：

它的对数：

求导，得方程组：

联合解得：

似然方程有唯一解：，而且它一定是最大值点，这是因为当或时，非负函数。于是U和的极大似然估计为。

例2：设样本服从均匀分布[a, b]。则X的概率密度函数：

对样本：

很显然，L(a,b)作为a和b的二元函数是不连续的，这时不能用导数来求解。而必须从极大似然估计的定义出发，求L(a,b)的最大值，为使L(a,b)达到最大，b-a应该尽可能地小，但b又不能小于，否则，L(a,b)=0。类似地a不能大过，因此，a和b的极大似然估计：

例3.抛硬币(n重伯努利实验)

总结

求最大似然估计量的一般步骤：

        （1）写出似然函数；

        （2）对似然函数取对数，并整理；

        （3）求导数；

        （4）解似然方程。

最大似然估计的特点：

        1.比其他估计方法更加简单；

        2.收敛性：无偏或者渐近无偏，当样本数目增加时，收敛性质会更好；

        3.如果假设的类条件概率模型正确，则通常能获得较好的结果。但如果假设模型出现偏差，将导致非常差的估计结果。