首先要明白它面对的问题是什么:已知样本在某些条件下发生的联合概率 p(xi) s.t. i为range(1,n)。
求各个样本或某部分样本发生的概率(推测的概率)p,这个p为什么值时,使得p(xi)发生的概率最大,则可化为求联合概率的极值,通常是先让它求对数,如ln后再求导,这样可使求多乘积变为概率和的求导,方便求值。
说的通俗一点啊,最大似然估计,就是利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值。
例如:一个麻袋里有白球与黑球,但是我不知道它们之间的比例,那我就有放回的抽取10次,结果我发现我抽到了8次黑球2次白球,我要求最有可能的黑白球之间的比例时,就采取最大似然估计法: 我假设我抽到黑球的概率为p,那得出8次黑球2次白球这个结果的概率为:
P(黑=8)=p^8*(1-p)^2,现在我想要得出p是多少啊,很简单,使得P(黑=8)最大的p就是我要求的结果,接下来求导的的过程就是求极值的过程啦。
可能你会有疑问,为什么要ln一下呢,这是因为ln把乘法变成加法了,且不会改变极值的位置(单调性保持一致嘛)这样求导会方便很多~
同样,这样一道题:设总体X 的概率密度为
已知 X1,X2..Xn是样本观测值,求θ的极大似然估计
P{x1=X1,x2=X2,...xn=Xn}=f(X1,θ)f(X2,θ)…f(Xn,θ)
然后我们就求使得P最大的θ就好啦,一样是求极值的过程,不再赘述。
参考文献:https://www.zhihu.com/question/20447622/answer/23902715