似然函数 Likelihood Function

似然函数 Likelihood Function

 

    在机器学习中我们通常基于已有的学习集数据建立预测模型，然后使用该模型在测试数据集上检测该模型的有效性。

    为量化模型有效性引入似然函数概念:        

    

     其中     表示当前模型的参数,一旦确认则模型被唯一的确定。 表示学习集中的n个观测结果.

该式的物理含义为： 已知的观测结果的前提下，模型参数取的概率

 

 

举例摘自：http://blog.sina.com.cn/s/blog_4a018d080100x089.html

 

考虑投掷一枚硬币的实验。令正面朝上的概率为PH,背面向上的概率为1-PH;该假设即可视为预测抛币结果的模型。

 

已知投出的硬币正面朝上和反面朝上的概率各自是p_H =0.5，便可以知道投掷若干次后出现各种结果的可能性。比如说，投两次都是正面朝上的概率是0.25。用条件概率表示，就是：

其中H表示正面朝上。

在统计学中，我们关心的是在已知一系列投掷的结果时，关于硬币投掷时正面朝上的可能性的信息。我们可以建立一个统计模型：假设硬币投出时会有p_H 的概率正面朝上，而有1 -p_H 的概率反面朝上。这时，条件概率可以改写成似然函数：

 

(该情况下，假设PH=0.5为预测模型，HH表示抛硬币连续两次正面朝上)

也就是说，对于取定的似然函数，在观测到两次投掷都是正面朝上时，p_H =0.5 的似然性是0.25（这并不表示当观测到两次正面朝上时p_H =0.5的概率是0.25）。

如果考虑p_H =0.6，那么似然函数的值也会改变。

  

注意到似然函数的值变大了。这说明，如果参数p_H 的取值变成0.6的话，结果观测到连续两次正面朝上的概率要比假设p_H =0.5 时更大。也就是说，参数p_H 取成0.6 要比取成0.5 更有说服力，更为“合理”。总之，似然函数的重要性不是它的具体取值，而是当参数变化时函数到底变小还是变大。对同一个似然函数，如果存在一个参数值，使得它的函数值达到最大的话，那么这个值就是最为“合理”的参数值。

在这个例子中，似然函数实际上等于：

如果取p_H =1，那么似然函数达到最大值1。也就是说，当连续观测到两次正面朝上时，假设硬币投掷时正面朝上的概率为1是最合理的。

 

    类似地，如果观测到的是三次投掷硬币，头两次正面朝上，第三次反面朝上，那么似然函数将会是：

其中T表示反面朝上.

这时候，似然函数的最大值将会在的时候取到。也就是说，当观测到三次投掷中前两次正面朝上而后一次反面朝上时，估计硬币投掷时正面朝上的概率是最合理的。

 

对于连续N次抛币：

 

而极大似然函数法就是求使  取最大值时的