朴素贝叶斯中的极大似然估计

为什么要极大似然估计， 朴素贝叶斯不能搞定一切吗？

朴素贝叶斯需要先求得先验概率和条件概率。 从直觉出发，可以用样本中出现的频率直接代替先验概率和条件概率。 但事实上使用频率计算出来的值，也是极大似然估计的结果。

 

极大似然估计回顾

极大似然估计就是把样本的所有联合概率相乘(离散)，或所有联合概率密度相乘(连续)， 对参数求偏导=0使其最大，从而解出参数的值。

这里需要求的是条件概率和先验概率，因此需要想办法把这两项放到极大似然函数中作为参数。

 

考虑到联合分布即是这两项的值，直接拆开即可。

 

解法

转自: https://www.zhihu.com/question/33959624

Hazel的解法非常巧妙，值得多读几遍。

下面只计算了条件概率， 先验概率的算法一样，需要根据θ的性质构造拉格朗日乘法项进行计算， 解得Nk/N

 

求解过程中，若没有注意到概率之和等于1这个潜在条件，会出现导数为0无解的情况。 应考虑到此前提，使用拉格朗日乘法项进行计算。