概率分布之二项分布与多项分布

1. 伯努利分布(Bernoulli distribution)

  伯努利分布又称二点分布或0-1分布，即一次试验只有正例和反例两种可能，以随机变量表示就是X只能取0或1，伯努利试验是只有两种可能结果的单次随机试验，假设一次试验出现正例的概率为p(0<p<1)，那么$P(X=1) = p$，$P(X=0) = 1-p$，可以统一表达为$P(X=k) = p^k(1-p)^{1-k},k=0,1$，则称X服从参数为p的伯努利分布，记为$X \sim Ber(p)$
  最简单的伯努利试验就是抛硬币，抛一次硬币，正反面出现的概率均为0.5，出现正面的分布是服从参数为0.5的伯努利分布。

2. 二项分布(binomial distribution)

  将伯努利试验独立地重复n次称为n重伯努利试验，独立是指每次试验结果互相不影响，二项分布是n重伯努利试验中正例发生次数的离散概率分布，也就是说，抛n次硬币，出现正面的次数的概率分布。
  记每次伯努利试验正例发生的概率为p，总共试验次数为n，随机变量X表示出现正例的次数，则记$X \sim B(n,p)$表示X服从参数为(n,p)的二项分布，观测变量$x \in [0,n]$，$x$取k的概率，即在n次伯努利试验中，正例出现k次的概率为
  $P(x=k)=C_n^k p^k (1-p)^{n-k}$
其中$C_n^k = \frac{n!}{k!(n-k)!}$为二项系数。二项分布具有期望$E[X]=np$和方差$D[X] = np(1-p)$，详情请参考wikipedia binomial distribution.
  此处举一个从二项分布采样的例子，python的numpy库中有二项分布的生成器，其三个参数分别为试验次数、正例概率和采样个数，如下：

import numpy
a = numpy.random.binomial(n=10, p=0.7, size = 1)

生成a为0-10的整数，如果令参数size=10000，则生成a为大小为10000的数组，每个元素取0-10的整数，画出a的分布图如下，可见正例出现7次的样本数最多，并以7为中心向两侧递减。

3. 多项分布(multinomial distribution)

  多项分布是对二项分布的扩展，二项分布是单变量分布，而多项分布是多变量分布。二项分布的典型例子是抛硬币，每次试验有正反两种对立的可能，多项分布的例子是扔骰子，每次试验有多种可能，进行多次试验，多项分布描述的是每种可能发生次数的联合概率分布。
  在单次试验中，假设一共有k种可能情况，记这k种可能发生的概率为$\mu = [\mu_1, ..., \mu_k]$，并且$\sum_{i=1}^k \mu_i =1$，记$\textbf{x} = [x_1,...,x_k]$，其中$x_i \in \{0,1\}$，并且$\sum_{i=1}^k x_i = 1$，即$x_i$中只有一个为1，其他均为0，也就是每次试验只有一种可能发生，$x_i$取1的概率为$\mu_i$，那么，$\textbf{x}$的概率为
  $P(\textbf{x}|\mu) = \prod_{i=1}^k \mu_i^{x_i}$
将试验进行N次，记第i种可能发生的次数为$m_i$，$\sum_{i=1}^{k} m_i = N$，那么多项分布表示$m_i$的联合概率分布
  $P(m_1,...,m_k|N,\mu) = Multi(m_1,...,m_k|N,\mu) = \dfrac{N!}{m_1!\cdots m_k!} \prod_{i=1}^d \mu_i^{m_i}$
多项分布的统计量如下：
  $E[m_i] = N\mu_i$
  $var(m_i) = N\mu_i (1-\mu_i)$
  $cov(m_i,m_j) = -N\mu_i \mu_j, (i \neq j)$
详情请参考wikipedia multinomial distribution.
  下面举一个从多项分布采样的例子，python的numpy库中有多项分布的生成器，其三个参数分别为试验次数、每种可能发生的概率向量和采样次数，如下：

import numpy
a = numpy.random.multinomial(n=10, pvals=[0.2,0.4,0.4], size = 1)

生成a为一个三维向量，如[2,7,1]，向量的每个元素位于0-10之间，三个元素之和为10。设置size = 1000，就会得到1000个三维向量，这1000个向量的均值为[2.013,4.058,3.929]，可见其均值的分布趋近于概率[0.2,0.4,0.4].