一、最大似然估计的基本原理:
(1)由于样本是独立地从中抽取的,所以在概率密度为时获取样本集的概率即是出现在中的各个样本的联合概率:
。
这里,反映的是在不同参数取值下取得当前样本集的可能性。因此,称作参数相对于样本集的似然函数。
(2)最大似然估计的目的:我们要在参数空间中找到一个值(并且用值来表示该估计值),它能使似然函数极大化。一般来说,使似然函数的值最大的是样本的函数,记为。我们把叫做的最大似然估计量:。
(3)最大似然估计的求解:
即对于时,使得。这其中,
二、均匀分布的最大似然估计:
①对于一维随机变量x服从均匀分布:
②则从总体分布中抽取N个样本的似然函数为:
③对数似然函数为:
④则有
⑤从上述④式可以看出,必有或者为无穷大,但这是无意义的结果。则从原式可以看出,越小时,似然函数越大。如果用表示观察值中最小的一个,用表示观察值中最大的一个,显然而。因此,的最小值只能是。
⑥此时的最大似然估计量显然有:
三、正态分布下的似然估计:
① 单变量正态分布的形式表现为:
这里,均值和方差是未知数,即我们要估计的参数,用于估计的样本为。
② 我们对①式进行对数化,可以得到:
③ 分别对和求导,则有:
④ 于是,最大似然估计应是以下方程组的解:
⑤ 因此,我们可以解得:
进一步可以得到: