贝叶斯理论中的prior, likelihood, posterior即先验概率，似然，后验概率

1 准备

条件概率公式

$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$

$Posterior\propto Likelihood\ast Prior$

两个式子对应起来，那么很显然有：

$P(A|B)\propto P(B|A)P(B)$

为了更方便理解，我们用一个常用的估计参数$\theta$的例子来进行讲解

$P(\theta |X)\propto P(X|\theta )\times P(\theta )$

$P(\theta |X)$是后验概率分布， $P(X|\theta )$是似然概率分布，$P(\theta )$是先验概率分布

对这个公式的直观理解就是:

通过新一波采样得到数据$X$，我们可以计算出新的$\theta$的概率分布，也就是$P(\theta |X)$也称对$\theta$的更新、纠正。

通过这个概率分布，我们就可以得到$\theta$的值，计算方法就是求$P(\theta |X)$这个分布下，$\theta$的均值

贝叶斯派的基本思想 vs 频率学派基本思想

在贝叶斯理论中，$\theta$ 是根据你的观测在不停变的。在这个过程中，每一次的观测，得到的具体数据$X$则视作固定的。根据观测，会不断地更新这个$\theta$。

频率学派则相反。$\theta$是一直都固定的。

无论你怎样进行采样，$\theta$都不会发生改变，因此想要求$\theta$就得利用极大似然估计。这个本文不作介绍。

2 解释

Prior 先验 —— $P(\theta )$

之前的知识，我们对它刻板印象，没有基于观测的数据思考而进行的猜测。比如这里$\theta$的分布是我们先前根据经验得来的，它的概率分布就是$P(\theta )$

Likelihood 似然 —— $P(X|\theta )$

顾名思义，似然就是像这样，因此其表达式肯定看着像，但不是真的。

像什么呢？就是你得到的这些观测数据，像是根据你的先验知识，估计而来而来的。其含义正是这个公式$P(X|\theta )$。它表示在给定$\theta$的情况下，$X$服从的概率分布。

那么既然只是像，哪里有问题呢？

结合之前所说，$X$是固定的，根本不会随着$\theta$的改变而发生任何变化。

因此，这里仅仅只是似然，假装是$\theta$控制$X$的生成，假装$\theta$对$X$的分布起作用。

Posterior 后验——$P(\theta |X)$

在你有了观测的数据之后，得到的新参数的概率分布。正如贝叶斯的思想所言，控制事务发生概率的参数$\theta$是变化的，它会随着新的观测数据到来，不断改变。

有了它以后，可以根据概率分布求期望（均值），从而进行一些估计。