条件分布和边缘分布
- 条件概率=联合概率边缘概率 条 件 概 率 = 联 合 概 率 边 缘 概 率
- 乘积规则:任何联合分布都可以表示成1维条件分布的乘积,比如
p(x,y,z)=p(x|y,z)p(y,z)=p(x|y,z)p(y|z)p(z)=p(z|x,y)p(x|y)p(y) p ( x , y , z ) = p ( x | y , z ) p ( y , z ) = p ( x | y , z ) p ( y | z ) p ( z ) = p ( z | x , y ) p ( x | y ) p ( y ) - 加和规则:任何边缘分布都可以由联合概率分布通过将不相关的随机变量积分得到,比如
p(y)=∫p(x,y)dx=∫p(y|x)p(x)dx=Exp(y|x) p ( y ) = ∫ p ( x , y ) d x = ∫ p ( y | x ) p ( x ) d x = E x p ( y | x )
贝叶斯理论
- 由前面的加和规则和乘积规则,可以得到著名的贝叶斯定理:
p(x|y)p(y)=p(y|x)p(x) p ( x | y ) p ( y ) = p ( y | x ) p ( x )
p(x|y)=p(y|x)p(x)p(y)=p(y|x)p(x)∫p(x,y)dx p ( x | y ) = p ( y | x ) p ( x ) p ( y ) = p ( y | x ) p ( x ) ∫ p ( x , y ) d x
即
后验概率=似然∗先验概率证据 后 验 概 率 = 似 然 ∗ 先 验 概 率 证 据