通俗解释:利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数值。即极大似然估计提供了一种给定观察数据来评估模型参数“模型已定,参数未知”
满足假设:所有的采样都是独立同分布的
对于似然函数
p
(
x
∣
θ
)
p(x|\theta)
p(x∣θ)的理解:
该函数的输入有两个:x表示某一个具体的数据;
θ
\theta
θ表示模型的参数
如果
θ
\theta
θ是确定的,
x
x
x是变量,这个函数叫做概率函数(probability function),它描述对于不同的样本点
x
x
x,其出现概率是多少。
如果
x
x
x是确定的,
θ
\theta
θ是变量,这个函数就叫做似然函数(likelihood function),它描述对于不同的模型参数,出现
x
x
x这个样本点的概率是多少
假如有一个罐子,里面有黑白两种颜色的球,数目多少不知,两种颜色的比例也不知。我 们想知道罐中白球和黑球的比例,但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来,记录球的颜色,然后把拿出来的球 再放回罐中。这个过程可以重复,我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中,有七十次是白球,请问罐中白球所占的比例最有可能是多少?
答案是70%。而其后的理论支撑是什么呢?
我们假设罐中白球的比例是p,那么黑球的比例就是1-p。因为每抽一个球出来,在记录颜色之后,我们把抽出的球放回了罐中并摇匀,所以每次抽出来的球的颜色服从同一独立分布。
这里我们把一次抽出来球的颜色称为一次抽样。题目中在一百次抽样中,七十次是白球的,三十次为黑球事件的概率是P(样本结果|Model)。
如果第一次抽象的结果记为x1,第二次抽样的结果记为x2…那么样本结果为(x1,x2…,x100)。这样,我们可以得到如下表达式:
P ( 样 本 结 果 ∣ M o d e l ) P(样本结果|Model) P(样本结果∣Model)
= P ( x 1 , x 2 , … , x 100 ∣ M o d e l ) = P(x1,x2,…,x100|Model) =P(x1,x2,…,x100∣Model)
= P ( x 1 ∣ M o d e l ) P ( x 2 ∣ M o d e l ) … P ( x 100 ∣ M o d e l ) = P(x1|Model)P(x2|Model)…P(x100|Model) =P(x1∣Model)P(x2∣Model)…P(x100∣Model)
= P 70 ( 1 − P ) 30 =P^{70}(1-P)^{30} =P70(1−P)30
好的,我们已经有了观察样本结果出现的概率表达式了。那么我们要求的模型的参数,也就是求的式中的p。
不同的P,导致
P
(
样
本
结
果
∣
M
o
d
e
l
)
P(样本结果|Model)
P(样本结果∣Model)的不同。
p实际上有无数多种分布。极大似然估计采取的方法是让这个样本结果出现的可能性最大,也就是使得
=
P
70
(
1
−
P
)
30
=P^{70}(1-P)^{30}
=P70(1−P)30值最大,看成求p的方程,求导即可。
参考: 知乎.