概率论——伯努利和二项随机变量

1 伯努利随机变量

  对于一个试验，我们将其结果分为两类，成功或失败，当试验结果为成功时$X=1$，试验结果失为败时$X=0$。这样，随机变量$X$的概率质量函数为：
p ( 0 ) = P { X = 0 } = 1 − p p ( 1 ) = P { X = 1 } = p p(0) = P\{X=0\}=1-p \\ p(1) = P\{X=1\}=p p(0)=P{X=0}=1−pp(1)=P{X=1}=p
其中$0\le p\le 1$是每次试验成功的概率。如果随机变量的概率质量函数为上式的形式，那么就称$X$为伯努利随机变量。

2 二项随机变量

  现在对于上述试验，假设进行$n$次独立的重复试验，每次试验成功的概率为$p$，失败的概率为$1-p$。现在我们令随机变量$X$表示$n$次试验中成功的次数，那么此时就称$X$为参数是$(n,p)$的二项随机变量，因此伯努利随机变量也是参数为$(1,p)$的二项随机变量。二项随机变量的概率质量函数为：
$$\begin{gathered} p(i)=\left(\begin{array}{c}n\\ i\end{array}\right)p^i(1-p{)}^{n-i} \\ i=0,1,\cdots ,n \end{gathered}$$
根据二项式定理，可以得出概率和为1：
$$\sum _{i=0}^{n}p(i)=\sum _{i=0}^n\left(\begin{array}{c}n\\ i\end{array}\right)p^i(1-p{)}^{n-i}=(p+(1-p){)}^n=1$$

3 二项随机变量的性质

  首先来推导一下二项随机变量的期望和方差，根据期望的定义可得：
$$E[X]=\sum _{i=0}^{n}i\left(\begin{array}{c}n\\ i\end{array}\right)p^i(1-p{)}^{n-i}=\sum _{i=1}^{n}i\left(\begin{array}{c}n\\ i\end{array}\right)p^i(1-p{)}^{n-i}$$
现在对这个式子进行化简，我们来看式子中的$i\left(\begin{array}{c}n\\ i\end{array}\right)$：
$$i\left(\begin{array}{c}n\\ i\end{array}\right)=i\ast \frac{n!}{(n-i)!\ast i!}=\frac{n\ast (n-1)!}{(n-i)!\ast (i-1)!}=n\left(\begin{array}{c}n-1\\ i-1\end{array}\right)$$
将该式替换后，期望变为：
$$E[X]=\sum _{i=1}^{n}n\left(\begin{array}{c}n-1\\ i-1\end{array}\right)p^i(1-p{)}^{n-i}$$
令$j=i-1$，再提出适当的参数得：
$$E[X]=np\sum _{j=0}^{n-1}\left(\begin{array}{c}n-1\\ j\end{array}\right)p^j(1-p{)}^{n-1-j}$$
观察右边的式子$\left(\begin{array}{c}n-1\\ j\end{array}\right)p^j(1-p{)}^{n-1-j}$可以看出，$J$是一个参数为$(n-1,p)$的二项随机变量，对这个式子求和的结果就是$1$，因此上述期望为：
$$E[X]=np$$
  现在来推导$X$的方差，在这之前先考虑$X^k$的期望：
$$E[X^k]=\sum _{i=0}^n{i}^k\left(\begin{array}{c}n\\ i\end{array}\right)p^i(1-p{)}^{n-i}=\sum _{i=1}^n{i}^k\left(\begin{array}{c}n\\ i\end{array}\right)p^i(1-p{)}^{n-i}$$
同样，根据上面的过程我们最终能够得到：
$$\begin{array}{rl}E[X^k]& =\sum _{i=1}^n{i}^k\left(\begin{array}{c}n\\ i\end{array}\right)p^i(1-p{)}^{n-i}\\ & =np\sum _{j=0}^{n-1}(j+1{)}^{k-1}\left(\begin{array}{c}n-1\\ j\end{array}\right)p^j(1-p{)}^{n-1-j}\\ & =npE[(J+1{)}^{k-1}]\end{array}$$
其中$J$是一个参数为$(n-1,p)$的二项随机变量，令$k=2$则有：
$$E[X^2]=npE[J+1]=np\ast [(n-1)p+1]$$
根据方差和期望的关系可知：
$$Var(X)=E[X^2]-E[X{]}^2=np\ast [(n-1)p+1]-np=np(1-p)$$

那么到现在，二项随机变量的期望和方差便推导完毕了：
$$\begin{gathered} E[X]=np \\ Var(X)=np(1-p) \end{gathered}$$
  二项随机变量的概率质量函数的一个重要性质：如果$X$是一个参数为$(n,p)$的二项随机变量$(0<p<1)$，那么当$k$从$0$到$n$时， P { X = k } P\{X=k\} P{X=k}是先增后减的，当$k=[(n+1)p]$时取得最大值，($[X]$表示小于或等于$X$的最大整数)这一性质的证明可以通过讨论 P { X = k } − P { X = k − 1 } P\{X=k\}-P\{X=k-1\} P{X=k}−P{X=k−1}的正负来证明:
P { X = k } − P { X = k − 1 } ≥ 0 P\{X=k\}-P\{X=k-1\}\ge 0 P{X=k}−P{X=k−1}≥0
带入公式得：
$$\left(\begin{array}{c}n\\ k\end{array}\right)p^k(1-p{)}^{n-k}\ge \left(\begin{array}{c}n\\ k-1\end{array}\right)p^{k-1}(1-p{)}^{n-k+1}$$
化简后得：
$$p(n-k+1)\ge k(1-p)$$
即当$k\le (n+1)p$的时候，函数是递增的，在该点取最大值，超过该点则递减。通过讨论还能够得到 P { X = k } P\{X=k\} P{X=k}和 P { X = k − 1 } P\{X=k-1\} P{X=k−1}的递推公式：
P { X = k } = p ( n − k + 1 ) ( 1 − p ) k P { X = k − 1 } P\{X=k\} =\cfrac{p(n-k+1)}{(1-p)k} P\{X=k-1\} P{X=k}=(1−p)kp(n−k+1)​P{X=k−1}

4 二项随机变量的分布函数

  根据分布函数的定义可以轻松列出分布函数的求法：
P { X ≤ i } = ∑ k = 0 i ( n k ) p k ( 1 − p ) n − k P\{X\le i\} = \sum_{k = 0}^i\begin{pmatrix}n\\k\end{pmatrix}p^k(1-p)^{n-k} P{X≤i}=k=0∑i​(nk​)pk(1−p)n−k
通过上述的 P { X = k } P\{X=k\} P{X=k}和 P { X = k − 1 } P\{X=k-1\} P{X=k−1}的递推公式便可轻易地编写计算分布函数的计算程序。

参考资料：《概率论基础教程》Sheldon M.Ross