0基础看-最大似然函数，原理，基本概念，例子

目录

1.最大似然估计的总体概念

2.基本概念与问题引出

3.最大似然估计原理

4.极大似然估计的公式[3]

5.极大似然估计的例子

参考文献

---

1.最大似然估计的总体概念

最大似然估计的功能：根据已有的数据（手中已经获取到的杂乱无章的数据，X的分布规律已知），估计模型的参数。其中这个参数可以是对应数据分布类型的均值、方差、协方差，也可以是系数向量。

最大似然估计（Maximum Likelihood Estimate，MLE）似然也可以理解为可能性probability。

延伸一下，可以延伸至概率论（probabilty）和数理统计（statistics），两者是互逆的过程。概率论可以看成是由因推果，数理统计则是由果溯因[1]。

总结就是：概率是已知模型和参数，推数据。统计是已知数据，推模型和参数[2]。

其中本文涉及到的基本概念有：似然函数，先验概率，后验概率，贝叶斯分类

2.基本概念与问题引出

在说最大似然函数的基本概念前，先看一个很不错的文献[3]中的例子。是最最基本的贝叶斯决策（Bayes Decision）的例子。为方便描述现搬运如下。

经典的贝叶斯公式为: 

其中：p(w)为先验概率，表示每种类别分布的概率；为类条件概率，表示在某种类别前提下，某事发生的概率；而为后验概率，表示某事发生了，并且它属于某一类别的概率，有了这个后验概率，我们就可以对样本进行分类。后验概率越大，说明某事物属于这个类别的可能性越大，我们越有理由把它归到这个类别下。

 我们来看一个直观的例子：已知：在夏季，某公园男性穿凉鞋的概率为1/2，女性穿凉鞋的概率为2/3，并且该公园中男女比例通常为2:1，问题：若你在公园中随机遇到一个穿凉鞋的人，请问他的性别为男性或女性的概率分别为多少？从问题看，就是上面讲的，某事发生了，它属于某一类别的概率是多少？即后验概率。

设：

由已知可得：

男性和女性穿凉鞋相互独立，所以

（若只考虑分类问题，只需要比较后验概率的大小，的取值并不重要）。  由贝叶斯公式算出：

对应的图解为[5]：

其中：什么是先验概率，后验概率，似然函数？

通俗的讲，先验概率就是事情尚未发生前，我们对该事发生概率的估计，例如全概率公式中P(B)就是先验概率，求解方法有很多种，全概率公式是一种，也可以根据经验等，例如抛一枚硬币头向上的概率为0.5。

后验概率则是表示在事情已经发生的条件下，要求该事发生原因是有某个