多项分布的最大似然估计

    在看《机器学习导论》时，碰到多项分布的最大似然估计，一开始一直求不到书中给出的结果，经过一番周折才求出来，现拿出来分享。

（一）二项分布的最大似然估计

       二项分布中，有两个结果：事件要么发生，要么不发生。二项分布中，随机变量X取值1表示事件发生，而取值0表示事件不发生。令p表示事件发生的概率，则(1-p)为事件不发生的概率。如公式(1)所示：

   

       给定大小为N的独立同分布的样本，二项分布的对数似然函数如公式（2）所示：

    为了求取该函数的最大值，只需要通过求即可，如下： 

 

      由此可得到参数p的最大似然估计为：

（二）多项分布的最大似然估计

       多项分布式在二项式分布的推广。多项分布是指事件有多个状态（K个状态），并且状态之间互斥，设每种状态出现的概率为Pi，并且有。同二项分布，多项分布对应的概率密度函数为：

    

给定大小为N的独立同分布的样本，多项分布的对数似然函数如公式（3）所示：

并且满足条件。求公式（3）中函数的最大值，即为求给定约束条件函数的最大值，因此可用拉格朗日乘数法。如公式（4）所示。

对公式（4）分别对p1，p2，pk求偏导数有：

通过求解方程组（5），可得到参数p的最大似然估计为：

完毕。