似然函数的意义与极大似然估计

什么是概率？

 

简单来说，概率是一个函数，定义域是样本空间，满足非负性，规范性，可列可加性。

严格的公理化定义如下：

概率可以做什么？统计又可以做什么？

什么是先验概率，后验概率，似然？

先验概率：根据以前的经验，提前知道的事件的概率；比如：今天下雨的概率。

后验概率：由果及因，后知后觉，根据事件结果推测原因起作用的概率；比如：今天下雨了，求有乌云的概率。

似然：由因及果，似然  likehood 自然而然的推测，都是知道原因，求原因造成结果发生的概率。比如：今天阴天，求下雨的概率。

(注意是由果，由因，就是根据结果，根据原因，但是结果和原因不一定是已知的，也可能是参数，比如极大似然估计，虽然是由因及果，但是因不知道，也就是分布的参数未知，把参数代入，得到似然函数，显然似然函数是关于参数的函数)

先验概率，后验概率，似然函数有什么关系？

贝叶斯公式：

贝叶斯公式就是，推测后验概率，根据先验，似然和证据因子。

似然有什么用？

似然函数可以用来做参数估计，比如极大似然估计。

极大似然估计：

极大似然估计，就是当模型的参数未知时，最大化似然函数，从而求得参数。

可以这么理解，参数我不知道，但是从这个概率模型生成的数据我已经知道了。如果获得当前数据集的概率不大，那有怎么能得到这组数据呢？所以，只要确定一组参数，使得模型可以获得这组数据的可能性最大就好了。从数学上讲，就是使似然函数最大。

 

上面的例子转载自知乎侵删   https://zhuanlan.zhihu.com/p/48071601

最大似然估计的数学语言描述如下

最大化上述公式就可以求得参数的值。

另外还有最大后验估计。后验估计是根据贝叶斯公式计算的，求后验估计，可以转换成似然和先验的乘积的最大值。