极大似然估计
估计的含义
对于一个模型中的未知参数,通过其参数的观测数据,去推断该参数的值。例如,物体的长度体积或是硬币的均匀与否等。
极大似然估计的原理
通俗来说,极大似然估计评价估计值的标准是:最好的估计值使得当前观测数据是发生概率最大的。
举例
例如,用极大似然估计去估计硬币是否均匀。这里待估计参数就是硬币的均匀程度,用一次抛投硬币取正面的概率来表征其均匀程度,定义为
θ
\theta
θ。
观测方法:采用多次抛投硬币的方式,观察其正反面情况。
观测结果:假设100次投掷硬币,共有20次朝正面,80次朝反面。
进行估计:对于不同的参数
θ
\theta
θ,出现此种观测结果(20正面,80反面)的概率P不同,如果能够形成
θ
\theta
θ-P的函数关系,那么很容易找出最优的那个估计值。事实上,这里的P=P(
θ
\theta
θ)就被称为极大似然函数。极大似然估计就是形成和求解P(
θ
\theta
θ)。上述观测方法的数据应该符合二项分布,其极大似然函数为:
P
(
θ
)
=
C
(
100
,
20
)
∗
θ
20
∗
(
1
−
θ
)
80
P(\theta) = C(100,20) *\theta^{20}* (1-\theta)^{80}
P(θ)=C(100,20)∗θ20∗(1−θ)80
其相应的图像为
图中,估计值取0.2时,出现此种观测结果(正20,反80)的概率最大,接近为1,0.2就是最好的估计值。
总结
1.极大似然估计是一种估计,是从观测结果or实验结果去估计某参数的值。
2.估计过程主要就是形成和求解极大似然函数