概率分布

概率分布

相关基础知识

贝叶斯定理

  贝叶斯定理也称贝叶斯推理。它用于将先验概率转化为后验概率，也就是我们先知道一件事情发现的概率p（x）（先验概率），然后根据条件概率p（y|x）观察到一定数量的事件y（条件概率），最后再重新估计一下这件事情发生的概率p(x|y)（后验概率）。具体的数学公式如下：

$$p(x|y)=\frac{p(y|x)p(x)}{\sum_x' p(y|x')p(x')}$$
  我们可以这样理解，一开始没有具体的数据，我们人为去猜想事件x发生的概率是p（x），然后开始做一堆实验，得到一些真实数据y，然后现在有了数据，再去修正一下之前猜想的概率，这样就实现了先验转后验p（x）->p（x|y）。
  举个栗子：现在我想知道一枚硬币正反面朝上的概率是多少，现在还没做实验我们认为正反两面出现的概率分别是 $p（正）=\frac{3}{5}$与 $p（反）=\frac{2}{5}$。好的，现在开始做实验，我们抛10次硬币，结果是8次正面，2次反面，也就是 $p(实验正面|正)=\frac{4}{5}$与 $p(实验反面|反)=\frac{1}{5}$。现在根据贝叶斯定理重新计算一下这枚硬币正反面朝上的概率是多少：
$$p(正|实验正面)=\frac{p(实验正面|正)p(正)}{p(实验正面|正)p(正) + p(实验反面|正)p(反)}=\frac{\frac{4}{5}*\frac{3}{5}}{\frac{1}{5}*\frac{2}{5} + \frac{4}{5}*\frac{3}{5}}=\frac{12}{14}$$
  如果是偏频派，就不会关心先验，直接根据实验结果得出 $p（正）=\frac{4}{5}\neq\frac{12}{14}$。

二项分布与贝塔分布

伯努利分布

  考虑一个二元随机变量$x\in \{0,1\}$,为了方便理解，我们可以假设$x=1$表示的是硬币正面朝上的概率而$x=0$表示的是硬币反面朝上的概率，其中$x=1$的概率被记作参数$\mu$,因此$p(x=1|\mu)=\mu$，而$p(x=0|\mu)=1-\mu$。我们可以看到$x$的概率分布可以写成：

$$Bern(x|\mu)=\mu^x(1-\mu)^{(1-x)}$$
这被称为是伯努利分布（Bernoulli distribution），均值和方差分别是 $E[x]=\mu$与 $var[x]=\mu（1-\mu）$。

二项分布

  接着上面的伯努利分布，如果我们做了$N$次试验全部结果的集合是$\mathcal{D}$且$m$次朝上，且每一次试验都是独立的在$N$次抛掷中，我们把所有$m$朝上的方式都加起来，因此就得到了二项分布(binomial distribution)：

$$bin(m|N，\mu)=\binom{N}{m} \mu^m(1-\mu)^{(N-m)}$$
它的期望和方差分别是 E[x]=Nμ