【机器学习】先验分布（Prior distribution）and 后验分布（Posterior distribution）

用一个投掷硬币的例子来解释先验分布和后验分布:

假设我们手中有一枚硬币，我们不确定它是否均匀（即正面和反面出现的概率相等）。现在我们想要通过投掷这枚硬币，了解它的正反面出现概率。这里，我们关心的参数是硬币正面朝上的概率p。

• 先验分布：在投掷硬币之前，我们对p的信念。由于没有任何信息，我们可能会认为所有的p值都是等可能的，因此可以选择一个均匀分布作为先验分布。这表示在0到1之间的所有p值都有相同的可能性。
• 投掷硬币：我们进行了10次投掷，结果观测到正面朝上6次，反面朝上4次。
• 后验分布：根据这10次投掷的数据，我们需要更新对p的信念。通过贝叶斯公式结合先验分布和观测数据，我们可以得到一个新的关于p的概率分布，即后验分布。后验分布将反映出p值更可能集中在某个区间，例如接近0.6附近（由于观测到正面朝上的次数占60%）。
• 通过这个例子，我们可以看到，在没有观测数据之前，先验分布表示我们对硬币正面朝上概率p的初始信念。而后验分布则表示在观测到一定次数的投掷结果后，我们对p的更新信念。贝叶斯统计就是通过这种方式，让我们在观测数据基础上不断更新和改进对参数（如硬币正面朝上的概率）的认识。
• 其次，得到的后验分布的概率可以作为下次后验分布的先验分布。例如，我们在上述解释中后验分布中观测到正面朝上的次数占60%，那么这个数据就可以作为我们下次后验分布的先验分布，从而通过贝叶斯进行下一步的

理论解释:

先验分布表示我们在观测到任何数据之前，对模型参数或者隐变量的信念。它通常是基于领域知识、经验或者假设来选择的。先验分布可以是具体的概率分布，如正态分布、均匀分布等，也可以是非参数化的分布。通过引入先验分布，我们可以为模型参数或隐变量设置一个初始状态，从而在贝叶斯推断过程中引入一定的约束和平滑。

后验分布表示在观测到数据之后，我们对模型参数或者隐变量的信念。它是根据贝叶斯公式通过结合先验分布和似然函数计算得到的。后验分布反映了我们在考虑数据信息后，对模型参数或隐变量的不确定性的认识。与最大似然估计方法相比，后验分布提供了更丰富的信息，包括参数的置信区间、参数之间的相关性等。