今天在看决策树分类算法时多次看到极大似然法,一直在接触,但是都没有真正理解到原理,雾里看花的朦胧感。在网上搜了下,几篇不错的博文解说的很详细也很通俗易懂。
博客链接:http://www.cnblogs.com/liliu/archive/2010/11/22/1883702.html
http://blog.csdn.net/yanqingan/article/details/6125812
1. 离散型
设为离散型随机变量,为多维参数向量,如果随机变量相互独立且概率计算式为P{,则可得概率函数为P{}=,在固定时,上式表示的概率;当已知的时候,它又变成的函数,可以把它记为,称此函数为似然函数。似然函数值的大小意味着该样本值出现的可能性的大小,既然已经得到了样本值,那么它出现的可能性应该是较大的,即似然函数的值也应该是比较大的,因而最大似然估计就是选择使达到最大值的那个作为真实的估计。
2. 连续型
设为连续型随机变量,其概率密度函数为,为从该总体中抽出的样本,同样的如果相互独立且同分布,于是样本的联合概率密度为。大致过程同离散型一样。
最大似然估计,只是一种概率论在统计学的应用,它是参数估计的方法之一。已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值。最大似然估计是建立在这样的思想上:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其他小概率的样本,所以干脆就把这个参数作为估计的真实值。
最大似然估计的一般求解过程:
(1) 写出似然函数;
(2) 对似然函数取对数,并整理;
(3) 求导数 ;
(4) 解似然方程;