极大似然估计

一、理论基础

1、引例

某位同学与一位猎人一起外出打猎，一只野兔从前方窜过。只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人射中的。 

这个例子所作的推断就体现了极大似然法的基本思想。

2、简介

极大似然估计是一种在总体概率密度函数和样本信息的基础上，求解模型中未知参数估值的方法。它基于总体的概率密度函数，构造一个包含未知参数的似然函数，并求解在似然函数值最大时未知参数的估计值。该原则下得到的模型将保证样本出现的概率最大。因此似然函数值实际上也是一种概率值，反应了在所估计参数的总体中，抽到样本的可能性，当然越接近于1越好，似然函数值在0~1之间。

极大似然估计，是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

3、发明人

极大似然估计方法是求估计的一种方法（其它几种方法是：矩估计法、最小二乘法估计、最大似然估计法、贝叶斯估计法），1821年首先由德国数学家C. F. Gauss（高斯）提出，但是这个方法通常被归功于英国的统计学家R. A. Fisher（罗纳德·费希尔），他在1922年的论文On themathematical foundations of theoretical statistics, reprinted in Contributionsto Mathematical Statistics (by R. A. Fisher), 1950, J. Wiley & Sons, NewYork 中再次提出了这个思想，并且首先探讨了这种方法的一些性质。极大似然估计这一名称也是费希尔给的。

使得概率 达到最大的参数 ，作为 的估计值，即取 使得： ， 与 有关，记为 ，作为 的最大似然估计量。

4、求解步骤

求极大似然函数估计值的一般步骤：

（1）写出似然函数；

（2）对似然函数取对数；   

（3）将对数似然函数对各参数求偏导数并令其为零，得对数似然方程组。若总体分布中只有一个未知参数，则为一个方程，称对数似然方程 ；

（4）从方程组中解出。

5、区间估计

当然极大似然估计只是一种粗略的数学期望，要知道它的误差大小还要做区间估计。

二、数据挖掘中应用

1、逻辑回归。逻辑回归方程的参数求解采用极大似然估计

2、后续再补充