1 极大似然估计
极大似然估计(Maximum Likelihood Estimation, MLE)/最大似然估计/最大概似估计 是一种参数估计方法,即已知样本估计出模型的参数。
一般说来,事件A发生的概率与某一未知参数 θ 有关, θ 取值不同,则事件A发生的概率 P(A|θ) 也不同,当我们在一次试验中事件A发生了,则认为此时的 θ 值应是参数t的一切可能取值中使 P(A|θ) 达到最大的那一个。极大似然估计法就是要选取这样的 θ 值作为参数t的估计值,使所选取的样本在被选的总体中出现的可能性为最大,即 P(A|θ) 最大。即认为模型的参数是确定的,只是不知道而已,所以可以通过样本推断出模型参数。
求极大似然函数估计值的一般步骤:
(1) 写出似然函数;
(2) 对似然函数取对数,并整理;
(3) 求导数;
(4) 解似然方程 。
(1)似然函数的定义为:
L(x1,x2,...,xN|θ1,θ2,...,θn)=L(x1,x2,...,xN|θ) =L(θ)=∏Ni=1p(xi|θ)
其中,N为样本个数。 可以看出,似然函数就是假设已知参数的情况下得到观察样本的概率,就是通过参数为 θ 的模型产生样本