首先看两个例子:
例1:天上有乌云,问那么下雨的概率是多少?这是一个条件概率,也称为后验概率;如果现在正在下雨,那么天上有乌云的概率是多少?这就是似然,由结果去找原因。
例2:有两个人去打一只正在吃草的鹿,一个是猎手,另一个是菜鸟,砰一声,鹿死了,那么谁最有可能打死这只鹿?这就是极大似然估计(MLE),找出导致这个结果的最有可能的原因。
最大似然估计(Maximun Likelihood Estimate, MLE):从模型中随机抽取n个样本,最合理的参数估计量应该是使得从模型中抽取该n个样本观测值的概率最大(来源:百度百科)。
因此最大似然估计,就是已知某个随机变量服从某种概率分布,但是其中的具体参数是未知的,通过多次试验,我们的任务就是估计出最佳的参数。说白了就是已知某种样本的结果,我们要找出最有可能(最佳的)导致该结果的参数。即:选择一个最佳参数,使得实验结果具有最大概率。
只说明离散型,连续型同理:
若总体X的分布律为:
其中是带估计的参数,是的取值范围。
设为n个样本,是的一个样本实现。则:的联合分布律为:
那么事件发生的概率为:
要使得最大,因为是常数,因此转变为求最大。
因此极大似然估法:固定,计算出使得概率最大的参数,作为估计值,即取使得:
与有关,记为:,称为参数的极大似然估计值