Maximum likelihood estimate

 

 

已知样本Sample和假定模型Model，模型中有待定参数，P(Sample|Model, α)。

最大似然估计：在给定的model下，找到α，保证P(Sample|Model)的概率最大，也就是最有可能是该Model产生的。

case1:

n次独立实验，事件A发生了k次，则事件A发生的概率p是多少。

Model=柏松分布，则服从泊松分布的情况下，事件A发生k次的概率，为P(S|Model,p)= (n,k)*p^k * (1-p)^(n-k)

max-log-likelihood = argmax(log ((n,k)*p^k * (1-p)^(n-k)))，导数=0，可求得p = k/n

Case2:

N个样本数据，服从高斯分布，其中均值和方差未知。

P(Sample|Model, u delta) = Sum(log(Model(u,delta, s))， s属于S

max-log-likelihood = argmaxP(Sample|Model, u delta)

最后分别按照对均值和方差的导数=0，求解。

Case3:

分类 Observation ，Classification，则每个O对应类别c

则Model=MaxEnt，

在mle = argmax P(O,C|MaxEnt) 其中maxEnt中p(c|o) = MaxEnt(o,c,w)

则mle = argmax sum(Log(p(c|o, w)))  参数为w

最后采用牛顿迭代或者l-bfgs求出w