贝叶斯定理与贝叶斯估计

贝叶斯公式
如果我们把事件A看成“结果”，把诸事件 $B_1,B_2,\ldots,B_n$ 看成导致这结果可能的“原因”，而事件A只能伴随着“原因”$B_1,B_2,\ldots,B_n$ 其中之一发生。又已知各“原因”$B_i$ 的概率和在每个“原因”下A的概率。若要求A的概率时，通常用全概率公式。如果在该试验中，事件A已经发生，要求出某个“原因”$B_i$ 导致该结果发生的概率，要用到一下介绍的Bayes公式。
设一完备事件组 $B_1,B_2,\ldots,B_n$，则对任一事件A，若P(A)>0,有：

$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\sum_{j=1}^nP(B_j)P(A|B_j)}$,i=1,2,….,n
以上定理称为Bayes公式。

先验(Priori)概率与后验(Posterior)概率
在上述公式中，P($B_i$)是在没有得到信息，即不知A是否发生的情况下，人们对$B_i$ 发生可能性大小的估计，成为先验概率。换一种说法，可以将先验概率视为边缘概率，即某个事件发生的概率。
若得到新的信息，即A已经发生的情况下人们对$B_i$ 发生可能性大小有了新的估计。得到的条件概率P($B_i|A$)称为后验概率。通俗易懂的说可以将条件概率视为后验概率。P(A|B)可以表达为事件A在事件B已经发生条件下的发生概率。
P(A|B)=$\frac{P(A,B)}{P(B)}$
联合概率表示两个事件共同发生的概率。A与B的联合概率表示为$P(A \bigcap B)$ 或 P(A,B).