条件概率、联合概率、边缘概率

条件概率

概述

条件概率问题可以想象成面积的问题。思考时都可以转化为面积。
假设变量M的取值为A、B、C，以及N的取值为X、Y、Z。
有几个明显的结论：

P(X|A)+P(X|B)+P(X|C)不一定等于1
P(X,A)+P(X,B)+P(X,C)=P(X)

假设P(X|A)=P(X|B)=P(X|C)，也不表示P(X,A)=P(X,B)=P(X,C)成立

独立性

假设

P(X|A)=P(X|B)=P(X|C)
P(Y|A)=P(Y|B)=P(Y|C)
P(Z|A)=P(Z|B)=P(Z|C)

则可讨论一致性

P(X|A)=P(X|B)=P(X|C)=P(A)
P(Y|A)=P(Y|B)=P(Y|C)=P(B)
P(Z|A)=P(Z|B)=P(Z|C)=P(C)

即对于每一种M，其XYZ的条件概率都相等，这是一致性
反过来，对于每一种N，其ABC的条件概率 也相等，这也是一致性

故，称M与N是独立的。

联合概率

联合概率指类似于P(X=a,Y=b)这样，包含多个条件，且所有条件同时成立的概率

边缘概率

边缘概率指类似于P(X=a），P(Y=b)这样，仅与单个随机变量有关的概率

联合分布可求边缘分布，但若只知道边缘分布，无法求得联合分布。

先验概率和后验概率

先验概率：P( 原因)

后验概率：P(原因|结果)

如果不考虑先验概率，只通过后验概率，可能得到错误的结论。考虑《程序员的数学概率统计》中2.4节，外星人和扑克的例子。