最大似然估计MLE,最大后验估计MAP

机器学习算法思想中,最大似然估计，最大后验估计经常遇见，必须掌握。

一.频率派与贝叶斯学派
二.最大似然估计(MLE)
三.最大后验估计(MAP)

一.频率派与贝叶斯学派

对于概率看法不同有两大派别,分别是频率学派与贝叶斯学派。他们看待世界的视角不同，导致他们对于产生数据的模型参数的理解也不同。

• 频率学派
  认为世界是确定的。在多次重复实验中事件趋于一个稳定的值p，那么这个值就是该事件的概率。他们认为模型参数是个定值,这种方法往往在大数据量的情况下可以很好的还原模型的真实情况。

• 贝叶斯派
  认为世界是不确定的，人们对世界先有一个预判，而后通过观测数据对这个预判做调整，我们的目标是要找到最优的描述这个世界的概率分布。这种方法在先验假设比较靠谱的情况下效果显著，随着数据量的增加，先验假设对于模型参数的主导作用会逐渐削弱，相反真实的数据样例会大大占据有利地位。

二.最大似然估计(MLE)

1. 最大似然估计只考虑某个模型能产生某个给定观察序列的概率。而未考虑该模型本身的概率即先验概率。
2. 根据已知样本，希望通过调整模型参数来使得模型能够最大化样本情况出现的概率,最大似然估计是频率学派模型参数估计的常用方法。
3. 举例
   在这举个猜黑球的例子：假如一个盒子里面有红黑共10个球，每次有放回的取出，取了10次，结果为7次黑球，3次红球。问拿出黑球的概率 p 是多少？
   我们假设7次黑球，3次红球为事件 A ，一个理所当然的想法就是既然事件 A已经发生了，那么事件 A 发生的概率应该最大。所以既然事件 A 的结果已定， 我们就有理由相信这不是一个偶然发