极大似然估计（MLE）

极大似然估计（MLE）: (本文中， 和 theta 可以互换。 和 Theta 可以互换)

定义：设样本X有概率密度函数f(x,theta), 这里theta为参数，在参数空间大Theta中取值。当固定x而把f(x,theta)看作是theta定义在大Theta上的函数时，它称为似然函数。

      所以，概率函数和似然函数可以说是一回事。只是看法不同。前者是固定theta而看成x在样本空间大X上的函数，而后者则固定x而看成theta在大Theta上的函数。

     这个差别在统计上的意义如下：不妨把参数theta和样本x分别看成“原因”和“结果”，定了theta的值就完全确定了样本的分布，也就定下了得到种种结果（x）的机会大小。这是从正面看。从反面看，当有了结果（样本）x时，我们问：当参数theta取各种不同的值（原因）时，导出这个结果（x）的可能性有多大？这个问题的回答引出了似然函数的概念。“似然”的字面意思就是“看起来像”。说仔细一些，就是：当我们有了结果x时，这个结果看来是有原因theta而产生的可能性，与似然函数值f(x,theta)成比例。

由于统计推断是由样本推断参数，这个方法就可以做为一种统计推断方法的哲理基础。事实上，的确有一些统计学家有这样的主张。他们把基于每个参数值的似然性趣进行统计推断这个原则，叫做“似然原则”。应当注意的是：反映theta的似然性的f(x,theta)，虽然源出于概率论的概念——概率函数。但是他本身不是通常意义上的概率，它自然也没有频率解释。