PRML第一章_概率论

1.2 概率论

本节介绍了简单的概念：概率密度
现在有两个box，红的box里面有2个apples，6 oranges,蓝的box里面有3 apples，1 oranges。
进行有放回的选取，即bootstrap.
p(B)指的就是从两个box中取到红box的概率
p(F)指的是取到apple的概率
1. 概率规则：
sum rule: $p(X) = \sum\limits_Yp(X,Y)$
product rule: $p(X,Y) = p(Y|X)p(X)$
2. 贝叶斯理论：
$p(Y|X) = \frac{p(X|Y)p(Y)}{p(X)}$
先验概率和后验概率：
例如先验概率是p(B)，不需要给定的F，就可以得到的概率叫做先验概率。
后验概率是p(B|F)，给定F之后，才得到的概率就叫做后验概率。
3. 高斯模型
$\mathcal{N}(x|u,\sigma^2) = \frac{1}{2\pi\sigma^2} exp \{ -\frac{1}{2\sigma^2} (x-u)^2 \}$
此时参数就是$u,\sigma^2$ 。
而我们期望：取两个参数取某值时，x出现的概率最大。这也就是最大似然估计（MAP）。
这时我们选择的是ln(p)。主要有两个原因：
 里面有exp，exp(a*b)=exp(a)+exp(b)，可以简化计算。
 并且ln是递增函数。
接下来目标函数为：
$\ln p(x|u,\sigma^2) = -\ln 2\pi$
然后式子分别对$u,\sigma^2$ 求偏导。