联合概率、边缘概率、条件概率

1. 联合概率

假设有随机变量A与B，所谓联合概率，就是既满足 A 条件，又满足 B条件的概率，因为你是2维变量，所以需要考虑(A,B)两个变量一起变的情况。

A与B的联合概率表示为$P(A\cap B)$或者$P(A,B)$或者$P(AB)$

这类包含多个条件且所有条件同时成立的概率成为联合概率。

2.边缘概率

边缘概率是相对于联合概率而言的的，虽然你有两个变量（x,y）但是你可以只考虑x或者y的分部，好像另外一个不存在一样，写作f(x)或者f(y)。

$P(X=a)$或$P(Y=b)$这类仅与单个随机变量有关的概率，称为边缘概率。

3. 条件概率

通常，我们想知道某些事件发生时其它事件也发生的概率。我们将事件 B 发生时事件 A 也发生的条件概率写为 $P（A|B）$，读作“在B的条件下A的概率”。

如果一个事件的概率不以任何方式影响另一个事件，则该事件被称为独立事件。以掷骰子且连续两次掷得 2 的概率为例。这些事件是独立的。

根据文氏图，可以清楚地看到，在事件B发生的情况下，事件A发生的条件概率就是：
$$P(A|B)=\frac{P(AB)}{P(B)}$$
所以，$$P(AB)=P(A|B)P(B)$$
同理可得，$$P(B|A)=\frac{P(AB)}{P(A)}$$
所以，$$P(AB)=P(B|A)P(A)$$
所以，$$P(A|B)P(B)=P(B|A)P(A)$$
所以，$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

---

4. 全概率定理

事件$A_1,A_2,...,A_n$形成样本空间的一个分割；

事件$B$可以分解成不相交的$n$个事件的并，即：$B=(A_1\bigcap B)\bigcup (A_2\bigcap B)...\bigcup (A_n\bigcap B)$

利用可加公理，得到：$P(B)=P(A_1\bigcap B)\bigcup P(A_2\bigcap B)...\bigcup P(A_n\bigcap B)$

利用条件概率定义，我们知道，$P(A_i\bigcap B)=P(A_i)P(B|A_i)$，将之代入上式，得到：

$P(B)=P(A_1)P(B|A_1)+P(A_2)P(B|A_2)+...+P(A_n)P(B|A_n)$

这个定理的主要应用是直接计算B的概率有点难度，但是若条件概率$P(B|A_i)$是已知的或者很容易推导时，全概率定理就成了计算P的有力工具。

---

5. 贝叶斯准则

通常，事件$A$在事件$B$发生的条件下的概率，与事件$B$在事件$A$发生的条件下的概率是不一样的！然而这两者是有确定的关系，贝叶斯准则就是这种关系的描述。

全概率定理是与贝叶斯准则联系在一起的，贝叶斯准则将形如$P(A|B)$的条件概率与形如$P(B|A)$的条件概率联系了起来。

贝叶斯准则可以用来因果推理。比如，有许多原因，造成了某一结果。现在，假设我们能够观测到某一结果，希望推断出造成这个结果出现的原因。

现在设事件$A_1,A_2,...,A_n$是原因，而$B$代表由原因引起的结果：

1. $P(B|A_i)$表示由原因$A_i$造成结果$B$出现的概率；
2. 当观察到结果$B$的时候，我们希望反推出结果$B$是由原因$A_i$造成的概率$P(A_i|B)$;
3. $P(A_i|B)$为新近得到的信息$B$之后，$A_i$出现的概率，称之为后验概率，而原来的$A_i$就成为先验概率。