这些概念考量的是一组变量之间的关系, 不妨设定两个随机变量 X~P(X) X ~ P ( X ) 与 Y~P(Y) Y ~ P ( Y ) .
联合概率分布 joint probability distribution
joint probability 指的是多个变量联合发生的概率分布.
边缘概率分布 marginal probability distribution
我们已知两个有限的离散型随机变量 X X 与 以及它们的联合概率分布, 那么我们就是把 P(X,Y) P ( X , Y ) 写成一个表格形式, 每一行代表一个 x∈X x ∈ X , 每一列代表一个 y∈Y y ∈ Y , 那么我们可以把每一行的 P(x,y) P ( x , y ) 加和, 写到右边的边缘处(margin), 这就是对应行 X=x X = x 的概率, 即
同理, 对于连续型随机变量, 只要把求和变成积分即可
条件概率和链式法则 conditional probability & chain rule
顾名思义, 条件概率指的是某个事件在给定其他条件时发生的概率, 这个非常符合人的认知:我们通常就是在已知一定的信息(条件)情况下, 去估计某个事件可能发生的概率. 概率论中,用 |
表示条件, 条件概率可以通过下式计算得到
在 x 发生的条件下 y 发生的概率
等于
x,y 同时发生的联合概率
除以
x自身的概率
. 注意, 必须满足
P(x)>0
P
(
x
)
>
0
, 否则对于永远不会发生的事情讨论条件概率无意义.
基于条件概率, 任意多维随机变量的联合分布都可以写成其中任意一个随机变量的条件概率相乘的形式
具体而言, 对于一个三元分布 :
- P(c):c P ( c ) : c 发生的概率, 通常已知.
- P(b|c):c P ( b | c ) : c 发生的条件下, 观察到 b b 的概率, 通常从数据中挖出.
- 同时发生的条件下, 观察到 a a 的概率, 通常从数据中挖出.
独立性和条件独立性 independent & conditionally independent
由上面的 joint probability, 满足下面的条件
如果 X,Y X , Y 在给定条件 Z=z Z = z 时满足 independent, 即