概率论与数理统计（一）—— 联合概率、条件概率与边缘概率

0. 联合概率、条件概率与边缘概率的关系

假定已知联合概率分布 $p(x,y)$，现求 $p(y|x_0)$，

$$p(y|x_0)=\frac{p(x_0,y)}{p(x_0)}=\frac{p(x_0,y)}{\sum_yp(x_0,y)}$$

分子由二维退化为一维概率函数，分母先退化为一维的联合概率分布，再代入具体的值；

1. 基本公式

$$p(\mathbf h|\mathbf x)=\frac{p(\mathbf x,\mathbf h)}{p(\mathbf x)}=\frac{p(\mathbf x,\mathbf h)}{\sum_{\mathbf h'}p(\mathbf x,\mathbf h')}$$

由联合概率（下式右侧）到边缘概率（下式左侧）：

$$p(\mathbf x)=\sum_{\mathbf h'}p(\mathbf x,\mathbf h')$$

当然对于连续型概率分布而言，就不再是求和，而是积分。

2. 从条件概率到贝叶斯公式

贝叶斯公式的数学含义正在于，从先验可得后验：

$$p(A|B)=\frac{P(A,B)}{p(B)}\\ p(B|A)=\frac{P(A,B)}{p(A)}\\ \Downarrow\\ p(A|B)p(B)=p(B|A)p(A)\Rightarrow p(A|B)=\frac{p(A)p(B|A)}{p(B)}$$