似然函数及最大似然估计及似然比检验

统计学中，似然函数是一种关于统计模型参数的函数。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：L(θ|x)=P(X=x|θ)。似然函数在推断统计学（Statistical inference）中扮演重要角色，尤其是在参数估计方法中。在教科书中，似然常常被用作“概率”的同义词。但是在统计学中，二者有截然不同的用法。概率描述了已知参数时的随机变量的输出结果；似然则用来描述已知随机变量输出结果时，未知参数的可能取值。例如，对于“一枚正反对称的硬币上抛十次”这种事件，我们可以问硬币落地时十次都是正面向上的“概率”是多少；而对于“一枚硬币上抛十次”，我们则可以问，这枚硬币正反面对称的“似然”程度是多少。

定义

在数理统计学中， 似然函数是一种关于统计模型中的参数的函数，表示模型参数中的 似然性。

给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：

似然函数在推断统计学（Statistical inference）中扮演重要角色，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。

分布类型

似然函数离散型概率分布

假定一个关于参数θ、具有离散型概率分布P的随机变量X，则在给定X的输出x时，参数θ的似然函数可表示为

其中， 

 表示X取x时的概率。上式常常写为 

 或者 

 。需要注意的是，此处并非条件概率，因为θ不（总）是随机变量。

连续型概率分布

假定一个关于参数θ、具有连续概率密度函数f的随机变量X，则在给定X的输出x时，参数θ的似然函数可表示为

上式常常写为 

 ，同样需要注意的是，此处并非条件概率密度函数。

似然函数的主要用法在于比较它相对取值，虽然这个数值本身不具备任何含义。例如，考虑一组样本，当其输出固定时，这组样本的某个未知参数往往会倾向于等于某个特定值，而不是随便的其他数，此时，似然函数是最大化的。

似然函数乘以一个正的常数之后仍然是似然函数，其取值并不需要满足归一化条件

似然函数的这种特性还允许我们叠加计算一组具备相同含义的参数的独立同分布样本的似然函数。

关于利用似然函数进行统计推断的应用，可以参考最大似然估计（Maximum likelihood estimation）方法和似然比检验（Likelihood ratio test）方法。

对数似然函数

涉及到似然函数的许多应用中，更方便的是使用似然函数的自然对数形式，即“对数似然函数”。求解一个函数的极大化往往需要求解该函数的关于未知参数的偏导数。由于对数函数是单调递增的，而且对数似然函数在极大化求解时较为方便，所以对数似然函数常用在最大似然估计及相关领域中。例如：求解Gamma分布中参数的最大似然估计问题：

假定服从Gamma分布的随机变量 

 具有两个参数 

 和 

 ，考虑如下似然函数

如果想从输出 

 中估计参数 

 ，直接求解上式的极大化未免有些难度。在取对数似然函数后，

再取关于 

 的偏导数等于0的解，

最终获得 

 的最大似然估计

当存在一组独立同分布的样本 

 时，

故而

其中， 

 。

参数化模型的似然函数

有时我们需要考虑在给定一组样本输出 

 时，使用待估参数 

 的假设值与其真实值之间的误差，此时似然函数变成是关于待估参数 

 的函数。 

似然函数计算实例

考虑投掷一枚硬币的实验。假如已知投出的硬币正面朝上的概率是 

 ，便可以知道投掷若干次后出现各种结果的可能性。

比如说，投两次都是正面朝上的概率是0.25：

 从另一个角度上说，给定“投两次都是正面朝上”的观测，则硬币正面朝上的概率为0.5的似然是 

尽管这并不表示当观测到两次正面朝上时 

 的“概率”是0.25。如果考虑 

 ，那么似然函数的值会变大 

这说明，如果参数的取值变成0.6的话，结果观测到连续两次正面朝上的概率要比假设0.5 时更大。也就是说，参数取成0.6 要比取成0.5 更有说服力，更为“合理”。总之，似然函数的重要性不是它的具体取值，而是当参数变化时函数到底变小还是变大。对同一个似然函数，如果存在一个参数值，使得它的函数值达到最大的话，那么这个值就是最为“合理”的参数值。

似然函数 最大似然估计

最大似然估计是似然函数最初也是最自然的应用。上文已经提到，似然函数取得最大值表示相应的参数能够使得统计模型最为合理。从这样一个想法出发，最大似然估计的做法是：首先选取似然函数（一般是概率密度函数或概率质量函数），整理之后求最大值。实际应用中一般会取似然函数的对数作为求最大值的函数，这样求出的最大值和直接求最大值得到的结果是相同的。似然函数的最大值不一定唯一，也不一定存在。与矩法估计比较，最大似然估计的精确度较高，信息损失较少，但计算量较大。

给定一个概率分布D，假定其概率密度函数（连续分布）或概率质量函数（离散分布）为f _D，以及一个分布参数θ，我们可以从这个分布中抽出一个具有n个值的采样X ₁,X ₂,...,X _n，通过利用f _D，我们就能计算出其概率：

但是，我们可能不知道θ的值，尽管我们知道这些采样数据来自于分布D。那么我们如何才能估计出θ呢？一个自然的想法是从这个分布中抽出一个具有n个值的采样X ₁,X ₂,...,X _n，然后用这些采样数据来估计θ。

一旦我们获得X ₁,X ₂,...,X _n，我们就能从中找到一个关于θ的估计。最大似然估计会寻找关于θ的最可能的值（即，在所有可能的θ取值中，寻找一个值使这个采样的“可能性”最大化）。这种方法正好同一些其他的估计方法不同，如θ的非偏估计，非偏估计未必会输出一个最可能的值，而是会输出一个既不高估也不低估的θ值。

要在数学上实现最大似然估计法，我们首先要定义可能性：

并且在θ的所有取值上，使这个函数最大化。这个使可能性最大的值即被称为θ的 最大似然估计。

似然比检验

似然比检验是利用似然函数来检测某个假设（或限制）是否有效的一种检验。一般情况下，要检测某个附加的参数限制是否是正确的，可以将加入附加限制条件的较复杂模型的似然函数最大值与之前的较简单模型的似然函数最大值进行比较。如果参数限制是正确的，那么加入这样一个参数应当不会造成似然函数最大值的大幅变动。一般使用两者的比例来进行比较，这个比值是卡方分配。

尼曼-皮尔森引理说明，似然比检验是所有具有同等显著性差异的检验中最有统计效力的检验。

似然比检验是一种寻求检验方法的一般法则。其基本思想如下： 设由n个观察值X1，X2，…，Xn组成的随机样本来自密度函数为f(X; θ)的总体，其中θ为未知参数。要检验的无效假设是H ₀： θ=θ ₀，备择假设是H1：θ≠θ _0，检验水准为α。为此，求似然函数在θ=θ ₀处的值与在θ=θ(极大点)处的值(即极大值)之比，记作λ，可以知道：

(1) 两似然函数值之比值λ只是样本观察值的函数，不包含任何未知参数。

(2) 0≤λ≤1，因为似然函数值不会为负，且λ的分母为似然函数的极大值，不会小于分子。

(3)越接近θ ₀时，λ越大；反之，与θ ₀相差愈大，λ愈小。因此，若能由给定的α求得显著性界值λ ₀，则可按以下规则进行统计推断：

当λ≤λ ₀，拒绝H ₀，接受H ₁；当λ>λ ₀，不拒绝H ₀，

这里 P(λ≤λ ₀)=α。

这一检验方法还可以推广到有k个参数的情形。

但是，要确定λ的界值λ ₀，必须知道当H ₀成立时λ的分布。当不了解λ的分布或者它的分布太复杂时，就难于确定其界值λ ₀，此时可利用下述统计原理：当样本含量n较大时，

-2lnλ(本书中用符号G表示)近似x2分布；当自由度大于1，甚至n较小时，这种近似的程度也是相当满意的。基于上述原理，统计中广泛应用对数似然比检验，通过计算统计量G，可按x2分布处理，不但计算方便，而且只要自由度大于1，就不必考虑理论频数大小的问题。关于似然比检验的具体应用，详见条目“频数分布的拟合优度”、“两样本率比较”、“多个样本率比较”、“样本构成比的比较”以及“计数资料的相关分析”等。

(王翠香编 ．概率统计 ：北京大学出版社 ，2010)