极大似然估计求解多项式分布参数

本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。

未经本人允许禁止转载。
#原因
今天晚上，老师在看LDA数学八卦的时候，问我一个问题，如下图所示：

这个多项式分布的参数，采用极大估计是怎么求的呢?当时想了想还真不知道，于是在网上找了资料，学习了一下，特此记录。

#公式推导
很多情况下，假定一个变量$X$有$k$个状态，其中$k>2$,每个状态假定的可能性为$p_1,p_2,\cdots ,p_k$，且${\sum }_{i=1}^k{p}_i=1$,独立进行$n$次实验，用$n_1,n_2,\cdots ,n_k$表示每个状态发生的次数，发生的次数服从多项式分布：
$$p\left(n_1,n_2,\cdots ,n_k|p_1,p_2,\cdots ,p_k\right)=\frac{n!}{{\prod }_{i=1}^k{n}_i!}\prod _{i=1}^k{p}_i^{n_i}$$

下面采用极大似然求解：

$$L\left(p_1,p_2,\cdots ,p_k\right)=log\left(\frac{n!}{{\prod }_{i=1}^k{n}_i!}\prod _{i=1}^k{p}_i^{n_i}\right)$$
$$=log\left(n!\right)-\sum _{i=1}^{k}log{n}_k!+\sum _{i=1}^{k}log{p}_k$$

对于有约束条件的极值求解问题可使用拉格朗日乘法：
$$Lagrange\left(p_1,p_2,\cdots ,p_k,\lambda \right)=L\left(p_1,p_2,\cdots ,p_k\right)-\lambda \left(\sum _{i=1}^k{p}_i-1\right)$$

求导(计算梯度)：
$$\frac{\partial Lagrange\left(p_1,p_2,\cdots ,p_k,\lambda \right)}{\partial p_i}=\frac{n_i}{p_i}-\lambda$$

进而有：
$$p_i=\frac{n_i}{\lambda }$$

由于
$$\sum _{i=1}^k\frac{n_i}{\lambda }=1$$

得到：
$$\lambda =n$$

进而有：
$$\widehat{p_i}=\frac{n_i}{n}$$