先验概率、后验概率、贝叶斯公式_学习笔记

先验概率(prior probability)：

先验概率是指根据以往经验和分析得到的概率，如全概率公式，它往往作为＂由因求果＂问题中的＂因＂出现的概率。

在贝叶斯统计推断中，不确定数量的先验概率分布是在考虑一些因素之前表达对这一数量的置信程度的概率分布。

例如，先验概率分布可能代表在将来的选举中投票给特定政治家的选民相对比例的概率分布。

未知的数量可以是模型的参数或者是潜在变量。

后验概率(posterior probability)：

事情还没有发生，要求这件事情发生的可能性的大小，是先验概率。事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小，是后验概率。

后验概率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的"果"。先验概率与后验概率有不可分割的联系，后验概率的计算要以先验概率为基础 。

后验概率是信息理论的基本概念之一。在一个通信系统中，在收到某个消息之后，接收端所了解到的该消息发送的概率称为后验概率。

先验概率不是根据有关自然状态的全部资料测定的，而只是利用现有的材料(主要是历史资料)计算的；后验概率使用了有关自然状态更加全面的资料，既有先验概率资料，也有补充资料；

先验概率的计算比较简单，没有使用贝叶斯公式；而后验概率的计算，要使用先验概率、贝叶斯公式，而且在利用样本资料计算逻辑概率时，还要使用理论概率分布，需要更多的数理统计知识。

贝叶斯公式(Bayes theorem/rule)：

 

 这就是大名鼎鼎的贝叶斯公式。

千万不要觉得它平淡无奇，只是数学公式的推导和罗列。实际上，这个公式里包含了全概率公式、条件概率、贝叶斯准则。我们来挖掘一下里面所蕴藏的重要内涵。

贝叶斯公式将条件概率P(A|B)和条件概率P(B|A)紧密地联系起来，其最根本的数学基础就是P(A|B)P(B)=P(B|A)P(A)，它们都等于P(AB)。

那这里面具体的深刻内涵是什么呢？我们接着往下看。

本质内涵：由因到果，由果推因

在现实中，我们可以把事件A看作结果，把事件B1,B2,...,Bn看作导致这个结果的各种原因。那么，我们所介绍的全概率公式

P(A)=P(B1)P(A|B1)+P(B2)P(A|B2)+...+P(Bn)P(A|Bn)

就是由各种原因推理出结果事件发生的概率，是由因到果。

但是，实际上还存在着一类重要的应用场景：我们在日常生活中常常是观察到某种现象，然后去反推造成这种现象的各种原因的概率。简单来说，就是由果推因。

由贝叶斯公式最终求得的条件概率P(Bi|A)，就是在观察到结果事件A已经发生的情况下，推断结果事件A是由原因Bi造成的概率的大小，以支撑我们后续的判断。

概率P(Bi)被称为先验概率，指的是在没有别的前提信息情况下的概率值，这个值一般需要借助我们的经验去估计。而条件概率P(Bi|A)被称作后验概率，它代表了在获得“结果事件A发生”这个信息之后原因Bi出现的概率，可以说后验概率是先验概率在获取了新信息之后的一种修正。
 

本学习笔记中，贝叶斯公式讲解链接：

https://blog.csdn.net/zw0Pi8G5C1x/article/details/113009664