极大似然估计法推出朴素贝叶斯法中的先验概率估计公式

统计学方法 P53-4.1

　令参数$P(Y = {c_k}) = {\theta _k}$，其中$k \in \{ 1,2..K\}$。
　那么随机变量Y的概率可以用参数来表示为一个紧凑的形式
　　 　　　 $P(Y) = \sum\limits_{k = 1}^K {{\theta _k}I(} Y = {c_k})$
　I是指示函数$Y = {c_k}$成立时，I=1；否则I=0。
　极大似然函数$L({\theta _k};{y_1},{y_2}..{y_N}) = \prod\limits_{i = 1}^N {P({y_i}) = } \prod\limits_{k = 1}^K {\theta _k^{{N_k}}}$，其中N为样本总数，${N_k}$为样本中$Y = {c_k}$的样本数目
　取对数得到$l({\theta _k}) = \ln (L(\theta )) = \sum\limits_{k = 1}^K {{N_k}\ln {\theta _k} }$
　联立所有的k以及约束条件有
　 　　　　$\sum\limits_{i = 1}^k {{N_i} = N}$
　　　　　$\sum\limits_{i = 1}^k {{N_i} = } - \lambda \sum\limits_{k = 1}^K {{\theta _k}}$
　　　　　
　　　　　综上${\theta _k} = \frac{{{N_k}}}{N}$