PRML1.2 probability theory

最重要的两个概率规则

1. sum rule
   边际分布（marginal）等于联合分布（joint）下，其他随机变量求和
   $$p(X=x_i)=\sum_{j=1}^L p(X=x_i,Y=y_j)$$ $$p(X)=\sum_Y p(X,Y)$$
2. product rule
   任何一个联合分布，都可以写成一个条件概率（conditional）乘以一个随机变量的概率
   $$p(X=x_i,Y=y_j)=p(Y=y_j|X=x_i)p(X=x_i)$$ $$p(X,Y)=p(Y|X)p(X)$$

Bayes 公式

由以上两个基本准则，我们可以得到著名的Bayes公式

$$p(Y|X)=\frac{p(X|Y)p(Y)}{p(X)}$$ 意义：条件概率可以通过反过来的条件概率求解

两个重要的统计观点

1. 最小二乘数学建模等价于高斯噪声最大释然估计统计建模
2. 正则化最小二成等价于基于高斯噪声的最大化后验概率统计建模