先验概率与后验概率，似然概率与条件概率，贝叶斯，最大似然估计（MLE）与最大后验概率估计（MAP）

先验概率与后验概率

根本区别：概率与事件发生的先后顺序，事件发生前则为先验概率，事件发生后则为后验概率。

• 先验概率： 事件发生前的预判概率。可以是基于历史数据的统计，可以由背景常识得出，也可以是人的主观观点给出。一般都是单独事件概率，如P(x),P(y)。
• 后验概率： 事件发生后求的反向条件概率；或者说，基于先验概率求得的反向条件概率。概率形式与条件概率相同。
• 具体说明如下所示：
  
  P(A)是一种先验概率 ， P(B|A) 是条件概率

似然概率与条件概率

• 似然概率： 据结果来判断这个事情本身的性质（参数）。
• 条件概率： 在特定条件下某事件发生的概率。一般的形式为P(x|y)表示y发生的条件下x发生的概率。
• 条件概率P(x|θ)： θ 表示环境对应的参数，x 表示结果；θ是前置条件，理解为在θ 的前提下，事件 x 发生的概率
  似然 L(θ|x）： 结果为 x ，参数为θ; L是关于 θ 的函数，而 P 则是关于 x 的函数
• 概率： 描述的是在一定条件下某个事件发生的可能性，概率越大说明这件事情越可能会发生；
• 似然： 描述的是结果已知情况下，事件在不同条件下发生的可能性，似然函数值越大说明事件在对应的条件下发生的可能性越大。

贝叶斯

• 贝叶斯定律： 认为P(x|y)最大的类别y，就是当前文档所属类别。即Max P(x|y) = Max p(x1|y)p(x2|y)…p(xn|y), for all y

最大似然估计（MLE）与最大后验概率估计（MAP）

• MLE: 是求参数θ, 使似然函数$P(x_0|\theta )$最大。
• MAP: 是求参数θ，使$P(x_0|\theta )P(\theta )$最大。
• 两者的区别： MAP就是多个作为因子的先验概率P(θ)P(θ)。或者，也可以反过来，认为MLE是把先验概率P(θ)P(θ)认为等于1，即认为θθ是均匀分布。
• 举例：
  对于投硬币的例子来看，我们认为（”先验地知道“）θ取0.5的概率很大，取其他值的概率小一些。我们用一个高斯分布来具体描述我们掌握的这个先验知识，例如假设P(θ)为均值0.5，方差0.1的高斯函数，如下图：
  
  则$P(x_0|\theta )P(\theta )$的函数图像为：
  
  注意，此时函数取最大值时，θ取值已向左偏移，不再是0.7。实际上，在θ=0.558时函数取得了最大值。即，用最大后验概率估计，得到 θ=0.558