极大似然估计详解

极大似然估计

        以前多次接触过极大似然估计，但一直都不太明白到底什么原理，最近在看贝叶斯分类，对极大似然估计有了新的认识，总结如下：

贝叶斯决策

        首先来看贝叶斯分类，我们都知道经典的贝叶斯公式：

        其中：p(w)：为先验概率，表示每种类别分布的概率；：类条件概率，表示在某种类别前提下，某事发生的概率；而为后验概率，表示某事发生了，并且它属于某一类别的概率，有了这个后验概率，我们就可以对样本进行分类。后验概率越大，说明某事物属于这个类别的可能性越大，我们越有理由把它归到这个类别下。

        我们来看一个直观的例子：已知：在夏季，某公园男性穿凉鞋的概率为1/2，女性穿凉鞋的概率为2/3，并且该公园中男女比例通常为2:1，问题：若你在公园中随机遇到一个穿凉鞋的人，请问他的性别为男性或女性的概率分别为多少？

        从问题看，就是上面讲的，某事发生了，它属于某一类别的概率是多少？即后验概率。

        设：

        由已知可得：

        男性和女性穿凉鞋相互独立，所以

（若只考虑分类问题，只需要比较后验概率的大小，的取值并不重要）。

        由贝叶斯公式算出：

问题引出

        但是在实际问题中并不都是这样幸运的，我们能获得的数据可能只有有限数目的样本数据，而先验概率和类条件概率(各类的总体分布