似然函数 Likelihood Function
在机器学习中我们通常基于已有的学习集数据建立预测模型,然后使用该模型在测试数据集上检测该模型的有效性。
为量化模型有效性引入似然函数概念:
其中 表示当前模型的参数,一旦确认
则模型被唯一的确定。
表示学习集中的n个观测结果.
该式的物理含义为: 已知的观测结果的前提下,模型参数取
的概率
举例摘自:http://blog.sina.com.cn/s/blog_4a018d080100x089.html
考虑投掷一枚硬币的实验。令正面朝上的概率为PH,背面向上的概率为1-PH;该假设即可视为预测抛币结果的模型。
已知投出的硬币正面朝上和反面朝上的概率各自是pH =0.5,便可以知道投掷若干次后出现各种结果的可能性。比如说,投两次都是正面朝上的概率是0.25。用条件概率表示,就是:
其中H表示正面朝上。
在统计学中,我们关心的是在已知一系列投掷的结果时,关于硬币投掷时正面朝上的可能性的信息。我们可以建立一个统计模型:假设硬币投出时会有pH 的概率正面朝上,而有1 -pH 的概率反面朝上。这时,条件概率可以改写成似然函数:
(该情况下,假设PH=0.5为预测模型,HH表示抛硬币连续两次正面朝上)
也就是说,对于取定的似然函数,在观测到两次投掷都是正面朝上时,pH =0.5 的似然性是0.25(这并不表示当观测到两次正面朝上时pH =0.5的概率是0.25)。
如果考虑pH =0.6,那么似然函数的值也会改变。
注意到似然函数的值变大了。这说明,如果参数pH 的取值变成0.6的话,结果观测到连续两次正面朝上的概率要比假设pH =0.5 时更大。也就是说,参数pH 取成0.6 要比取成0.5 更有说服力,更为“合理”。总之,似然函数的重要性不是它的具体取值,而是当参数变化时函数到底变小还是变大。对同一个似然函数,如果存在一个参数值,使得它的函数值达到最大的话,那么这个值就是最为“合理”的参数值。
在这个例子中,似然函数实际上等于:
如果取pH =1,那么似然函数达到最大值1。也就是说,当连续观测到两次正面朝上时,假设硬币投掷时正面朝上的概率为1是最合理的。
类似地,如果观测到的是三次投掷硬币,头两次正面朝上,第三次反面朝上,那么似然函数将会是:
其中T表示反面朝上.
这时候,似然函数的最大值将会在的时候取到。也就是说,当观测到三次投掷中前两次正面朝上而后一次反面朝上时,估计硬币投掷时正面朝上的概率是最合理的。
对于连续N次抛币:
而极大似然函数法就是求使 取最大值时的