先验概率、后验概率、最大似然估计

先验概率和后验概率

      用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率，是指根据以往经验和分析得到的h的概率。类似地，P(X)表示训练数据X的先验概率，P(X|h)表示假设h成立时X的概率。机器学习中，我们关心的是P(h|X)，即给定数据X时h的成立的概率，称为h的后验概率。

MAP与MLE最大区别是MAP中加入了模型参数本身的概率分布(贝叶斯学派)，或者说。MLE中认为模型参数本身的概率的是均匀的，即该概率为一个固定值(频率学派)。