贝叶斯推断 1. 基本概率模型和贝叶斯定理

最近在看一些概率统计的知识，顺便做了一些笔记整理。

基本概率模型

这里简单介绍三个概念，古典概型，频率学派，贝叶斯学派。

1. 古典概型
   这个模型下，随机实验所有可能的结果是有限的，并且每个基本结果发生的概率是相同的
   比如：投掷一枚均匀硬币，结果只有两种（假设硬币没有立起来），正面朝上和反面朝上，那么正面朝上的的概率就是0.5。这是基于古典概率模型的计算。

2. 频率学派
   认为待估计参数是某个未知的常量，通过多次试验，统计事件发生的次数占总试验的比值，得到待估计参数的值。
   比如：估算投掷一枚均匀硬币获得正面的概率。我们进行1000次试验，有498次朝上，所以获得正面的概率是0.498。

3. 贝叶斯学派
   认为待估计参数不是某个固定的常量，而是一种随机变量（服从某种分布）。关于这个随机变量，我们可以根据常识或其他客观事实对其有一个先验的分布估计（信念），之后根据试验来调整这个分布，最后求得该随机变量的后验分布。
   这种思想解决了频率学派试验中当试验次数过少而导致的试验偏差的问题，比如，投掷一枚匀质硬币5次，这5次都是正面朝上，根据频率学派观点，认为硬币投掷正面朝上的概率是$P(正面朝上)=\frac{5}{5}=1$，这显然是不符合常理的。
   现在定义事件A=(投掷一次硬币正面朝上)，B=(投掷5次硬币，5次朝上)。在贝叶斯的框架下，我们根据常识认为投掷硬币正面朝上的概率是0.5，所以我们可以假设这个先验服从参数为$Beta(10,10)$的分布，然后根据贝叶斯定理$P(A|B)=\frac{P(A)P(B|A)}{P(B)}$可计算出在事件B发生的条件下的A的概率分布为分布$Beta(15,10)$，这个分布的期望值是0.6。通过贝叶斯框架，我们计算出硬币正面朝上的概率仍然是一个接近0.5的值，更加符合我们的常识。（关于Beta分布和后验概率的具体计算会在以后的章节介绍）
   这个图是分别绘制的先验分布$Beta(10,10)$（蓝色）和后验分布$Beta(15,10)$（绿色）
   

条件概率和相互独立

条件概率，若$P(B)>0$,则$P(A|B)=\frac{P(AB)}{P(B)}$记为事件B发生的情况下,A发生的概率。
如果