1-条件概率，联合概率，边缘概率三者关系以及贝叶斯公式

---

前言

过去一直没有养成记笔记的习惯，今天开始对所学的知识进行一个记录，以便日后翻阅查看。若有不对之处，欢迎各位网友指出

---

一、联合概率

表示两个事件共同发生的概率。举例：A与B的联合概率表示为 P(AB) 或者P(A,B),或者P(A∩B)。

二、条件概率

条件概率是指事件A在事件B发生的条件下发生的概率。条件概率表示为：P(A|B) ，读作“A在B发生的条件下发生的概率”。若只有两个事件A，B，那么 P(A|B) = P(AB)/P(B)。

三、边缘概率

边缘概率是某个事件发生的概率，而与其它事件无关。
边缘概率是这样得到的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率）。这称为边缘(marginalization)。A的边缘概率表示为P(A)，B的边缘概率表示为P(B)。

四、概率测度

如果事件 B 的概率 P(B) > 0，那么 Q(A) = P(A|B) 在所有事件 A 上所定义的函数 Q 就是概率测度。 如果 P(B) = 0，P(A|B) 没有定义。 条件概率可以用决策树进行计算。

需要注意的是，上述的三个定义中A与B之间不一定有因果或者时间顺序关系。A可能会先于B发生，也可能相反，也可能二者同时发生。A可能会导致B的发生，也可能相反，也可能二者之间根本就没有因果关系。例如考虑一些可能是新的信息的概率条件性可以通过贝叶斯定理实现。

五、贝叶斯公式

讲到贝叶斯公式，就要讲到两个概率。一个先验概率，一个后验概率。

先验概率：知道原因推结果的，P(原因)、P(结果|原因)等
后验概率：根据结果推原因的，P(原因|结果)等

贝叶斯公式解决的是一些原因X无法直接观测、测量，而我们希望通过其结果Y来反推出原因X的问题，也就是知道一部分先验概率，来求后验概率的问题。
此处借用网友的例子，进行讲述：

打到怪物就能获得宝箱，但是宝箱有2/3的概率是陷阱，玩家可以通过魔法来检查，但是有1/4的误判概率，问：假设玩家利用魔法判定此宝箱没有陷阱，求宝箱有陷阱的概率

我们设事件A：宝箱有陷阱，事件B：魔法检查宝箱有陷阱，那么根据题意已知先验概率有:

$P(A)=\frac{2}{3}$
$P(B|\overline{A})=1/4$
$P(\overline{B}|A)=1/4$

现在我们要求的后验概率为

$P(A|\overline{B})$

我们可以推得：

$P(A|\overline{B})=\frac{P(A,\overline{B})}{P(\overline{B})}$
$P(\overline{B})=P(\overline{B}|\overline{A})P(\overline{A})+P(\overline{B}|A)P(A)$

联立两式，即可得到一个由已知条件求$P(A|\overline{B})$的公式：

$P(A|\overline{B})=\frac{P(A,\overline{B})}{P(\overline{B}|\overline{A})P(\overline{A})+P(\overline{B}|A)P(A)}$

此解法就是贝叶斯公式的应用。它的的一般形式如下：

其中“…”的部分需要列出X所有可能的值，并求和。

详细推导公式如下

感谢同行的帖子分享：
贝叶斯公式

总结

提示：后续有补充的再继续加入