【概率证明】—— sum and product rules of probability

1. sum and product rules of probability

$$\left\{ \begin{split} &p(x)=\int p(x, y)dy\\ &p(x,y)=p(x|y)p(y) \end{split} \right.$$

• sum rule of probability 的积分符号自然可以换成 $\sum$ 求和符号（针对离散型随机变量）

2. 简单应用

sum and product rules of probability in Bishop’s book
sum and product rules of probability

• 证明：$p(x=1|\mathcal D)=\int_0^1 p(x=1|\mu)p(\mu|\mathcal D)d\mu$

  首先根据 sum rule：

  $$p(x=1|\mathcal D)=\int_0^1 p(x=1,\mu|\mathcal D)d\mu$$

  进一步应用 product rule，可得：

  $$\begin{split} \int_0^1 p(x=1,\mu|\mathcal D)d\mu=&\int_0^1p(x=1|\mu, \mathcal D)p(\mu|\mathcal D)d\mu\\=&\int_0^1p(x=1|\mu)p(\mu|\mathcal D)d\mu \end{split}$$

  这里隐含了一个假定，即给定 $\mu$ 条件下，$x=1$（新的待测样本） 与 $\mathcal D$（既有的历史数据集） 是条件独立的。