联合概率与边缘概率

假设有随机变量X于Y，此时，P(X=a, Y=b)用于表示X=a且Y=b的概率。这类包含多个条件且所有条件同时成立的概率称为联合概率。请大家特别注意，联合概率并不是其中某个条件成立的概率，而是所有条件同时成立的概率。与之对应地，P(X=a)或P(Y=b)这类仅于单个随机变量有关的概率称为边缘概率。

联合概率与边缘概率大关系如下：
P(X=a) = $\sum_b$ P(x=a, Y=b)
P(Y=b) = $\sum_a$ P(x=a, Y=b)

如下表所示，我们将在16张扑克牌中随机抽取一张，并用X表示这张牌的颜色（红色或黑色），用Y表示它的类型（数字牌或人头牌），我们试求X与Y的联合分布及X的边缘分布。

-	-	-	-
红色 J	红色 Q	红色 K	红色 J
红色 Q	红色 K	红色 1	红色 2
黑色 K	黑色 1	黑色 2	红色 3
黑色 3	黑色 4	黑色 5	黑色 6

我们只需统计在各种条件下，这16张牌中有几张符合条件即可得到答案。X与Y的联合分布如下表所示：

-	Y = 数字牌	Y = 人头牌
X = 红色	3/16	6/16
X = 黑色	6/16	1/16

X的边缘分布则如下所示：
P(X = 红色) = P(X = 红色, Y = 数字牌) + P(X = 红色, Y = 人头牌) = 3/16 + 6/16 = 9/16
P(X = 黑色) = P(X = 黑色, Y = 数字牌) + P(X = 黑色, Y = 人头牌) = 6/16 + 1/16 = 7/16

我们可以像上面这样通过联合分布计算边缘分布。然而，如果只知道边缘分布，我们无法借此求得相应的联合分布。如下所示，在很多情况下，即使边缘分布相同，联合分布也可能不同。

-	组1数字牌	组1人头牌	-	组2数字牌	组2人头牌	-	组3数字牌	组3人头牌
红色	4/16	5/16	-	5/16	4/16	-	6/16	3/16
黑色	5/16	2/16	-	4/16	3/16	-	3/16	4/16

三组的红色的边缘概率都是9/16，但联合概率各不相同。
4/16 + 5/16 = 9/16
5/16 + 4/16 = 9/16
6/16 + 3/16 = 9/16
三组的黑色的边缘概率都是7/16，但联合概率各不相同。
5/16 + 2/16 = 7/16
4/16 + 3/16 = 7/16
3/16 + 4/16 = 7/16