极大似然估计Maximum Likelihood Estimation

极大似然估计是概率论在统计学的应用，是一种参数估计。说的是已知随机样本满足某种具体参数未知的概率分布，参数估计就是通过若干次试验，利用结果推出参数的大概值。极大似然估计的一种直观想法是已知某个事件发生了，我们应该估计使该事件发生的概率最大。例如甲箱有99个白球1个黑球，乙箱有1个白球99个黑球，随机选出一个箱子再从箱子中随机选出一个球是白球，那么我们假设该白球是从甲箱中取出的，因为甲箱取出白球的概率远大于乙箱取出白球的概率。
假设样本集合是 ，样本是独立同分布的，但是数据生成过程未知。让 是以θ为索引的基于某个空间的概率分布参数族。换句话说， 将任何形式的x映射成一个实数来估计真实的概率。θ的极大似然估计被定义为：

因为乘积的形式不容易计算，所以变换乘积为求和形式：