极大似然估计

  首先看两个例子：

  例1:天上有乌云，问那么下雨的概率是多少？这是一个条件概率，也称为后验概率；如果现在正在下雨，那么天上有乌云的概率是多少？这就是似然，由结果去找原因。

  例2：有两个人去打一只正在吃草的鹿，一个是猎手，另一个是菜鸟，砰一声，鹿死了，那么谁最有可能打死这只鹿？这就是极大似然估计（MLE），找出导致这个结果的最有可能的原因。

  最大似然估计（Maximun Likelihood Estimate, MLE）：从模型中随机抽取n个样本，最合理的参数估计量应该是使得从模型中抽取该n个样本观测值的概率最大（来源：百度百科）。

  因此最大似然估计，就是已知某个随机变量服从某种概率分布，但是其中的具体参数是未知的，通过多次试验，我们的任务就是估计出最佳的参数。说白了就是已知某种样本的结果，我们要找出最有可能（最佳的）导致该结果的参数。即：选择一个最佳参数，使得实验结果具有最大概率。

  只说明离散型，连续型同理：

  若总体X的分布律为：

  其中是带估计的参数，是的取值范围。

  设为n个样本，是的一个样本实现。则：的联合分布律为：

  那么事件发生的概率为：

  要使得最大，因为是常数，因此转变为求最大。

  因此极大似然估法：固定，计算出使得概率最大的参数，作为估计值，即取使得：

  与有关，记为：,称为参数的极大似然估计值