第一章 事件的概率

1.1 概率是什么

衡量某种情况（事件）出现的可能性大小的一种指标。

1.1.1 主观概率

见书P002

1.1.2 试验与事件

概率论中事件的含义，分3点在P003到P004，包括试验的含义，随机事件，必然事件，不可能事件的含义。

1.1.3 古典概率

古典概率的定义：设一个试验有$N$个等可能的结果，而事件E恰好包含其中的$M$个结果，则事件$E$的概率，记为$P(E)$，定义为
$P(E) = M / N$
局限性：只适用于全部试验结果为有限个，且等可能性成立的情况。某些情况下这个概念可稍稍引申到试验结果有无限多个的情况，就是所谓的几何概率。
古典概率的计算主要基于排列组合。

1.1.4 概率的统计定义

概率的统计定义：通过实验去估计概率的方法（频率估计概率）。
重要性：1.提供一种估计概率的方法。2.提供一种检验理论正确与否的准则。（见P008）
认为，频率只是概率的估计而非概率本身，或者说说概率就是当试验次数无限增大时频率的极限。

1.1.5 概率的公理化定义

柯氏公理体系（见P009）

1.2 古典概率的计算

1.2.1 排列组合的几个简单公式

1. $n$个不同物件取$r（1 \le r \le n）$个的排列总数，为
   $A_n^r = n(n-1)(n-2)...(n-r+1)$
2. $n$个不同物件去$r（1 \le r \le n）$个的不同组合总数，为
   $C_n^r =A_n^r/r!=n!/(r!(n-r)!)$
   也可以写成
   $C_n^r=n(n-1)...(n-r+1)/r!$
   只要$r$为非负整数，$n$不论为任何实数，不必限制为自然数。
3. 与二项展开式的关系
   令$a=b=1$可得
   $\sum_{i=0}^nC_n^i=2^n$
   令$a=-1,b=1$可得
   $\sum_{i=0}^nC_n^i(-1)^i=0$
   还可由恒等式$(1+x)^{m+n}=(1+x)^m(1+x)^n$，即
   $\sum_{j=0}^{m+n}C_{m+n}^{j}x^j=\sum_{i=0}^mC_m^ix^j\sum_{j=0}^nC_n^jx^j$
   中$x^k$项的系数可得：
   $C_{m+n}^k=\sum_{i=0}^kC_m^iC_n^{k-i}$
4. $n$个不同物件分成$k$堆，各堆物件数分别为$r_1,...,r_k$的分法是
   $n!/(r_1!...r_k!)$
   即
   $C_n^{r_1}C_{n-r_1}^{r_2}C_{n-r_1-r_2}^{r_3}...C_{n-r_1-r_2-...-r_{k-1}}^{r_k}$

1.2.2古典概率计算举例

例题比较经典

1.3 事件的运算，条件概率与独立性

1.3.1 事件的蕴含，包含及相等

蕴含与包含同义，见书P017

1.3.2 事件的互斥与对立

若$A$，$B$两事件不能在同一次试验中发生（但可以都不发生），则称他们是互斥的。

1.3.3 事件的和（或称并）

见书P019

1.3.4 概率的加法定理

定理3.1 若干个互斥事件之和的概率，等于各事件的概率之和。
事件的个数可以是有限的或者无限的，其重要条件是两两互斥。
属于柯氏公理体系，见书P021.
系3.1 以$A’$表示$A$的对立事件，则
$P(A’) = 1 - P(A)$

1.3.5 事件的积（或称交），事件的差

定义见书

1.3.6 条件概率

定义3.1 设有两个事件$A$，$B$，而$P(B)$不等于0，则“在给定$B$发生的条件下$A$的条件概率”，记为$P(A|B)$，定义为
$P(A|B)=P(AB)/P(B)$
当$P(B)=0$时，该公式无意义，在高等概率论中也要考虑$P(A|B)$当$P(B)=0$时的定义问题。

1.3.7 事件的独立性，概率乘法定理

设有两个事件$A$，$B$，$A$的无条件概率$P(A)$与其在给定$B$发生之下的条件概率$P(A|B)$一般是有差别的，这反映了这两个事件之间存在这一些关联。例如，若$P(A|B) \gt P(A)$则$B$的发生使$A$发生的可能性增大了，即$B$促进了$A$的发生。
反之，若$P(A) = P(A|B)$，则$B$的发生与否对于$A$的发生的可能性毫无影响，这时，在概率论上称$A$，$B$两事件独立。有
$P(AB) = P(A)P(B)$
定义3.2 两个事件$A$，$B$若满足上式，则称$A$，$B$独立。
定理3.2 两独立事件$A$，$B$的积$AB$的概率$P(AB)$等于其各自概率的积$P(A)P(B)$。
即概率的乘法定理，也就是独立性的定义。
定义3.3 设$A_1$，$A_2$，···为有限或无限个事件。如果从其中任意取出有限个$A_{i_1}$，$A_{i_2}$，···，$A_{i_m}$，都成立
$P(A_{i_1}A_{i_2}···A_{i_m})=P(A_{i_1})P(A_{i_2})···P(A_{i_m})$
则称事件$A_1$，$A_2$，···相互独立，简称独立。
这个定义与从条件概率出发的定义是等价的，后者是说，对任何互不相同的$i_1$，$i_2$，···，$i_m$，有
$P(A_{i_1}|A_{i_2}···A_{i_m})=P(A_{i_1})$
即任何事件$A_{i_1}$发生的可能性大小，不受其他事件发生的影响。
但是上式左边依赖于$P(A_{i_1}|A_{i_2}···A_{i_m}) \gt 0$而定理3.3就没有这个问题。
由独立性定义易推出如下定理。
定理3.3 若干个独立事件$A_1$，···，$A_n$之积的概率，等于个时间概率的乘积：
$P(A_1···A_n)=P(A_1)···P(A_n)$
系3.2 独立事件的任一部分也独立。
进一步可推广为：由独立事件决定的事件也独立。
系3.3 若一列事件$A_1$，$A_2$，···相互独立，则将其中任意部分改为其对立事件，所得事件列仍为相互独立。（可使用数学归纳法证明）
对于独立性，存在两两独立但是不相互独立的情况，详情见书P027以及后面的例题。

1.3.8 全概率公式与贝叶斯公式

1. 全概率公式
   设$B_1$，$B_2$，···为有限或无限个事件，它们两两互斥且在每次试验中至少发生一个，即
   $B_iB_j=\emptyset (i \ne j)$
   $B_1+B_2+···=\Omega$
   把具有这些性质的一组事件称为一个完备事件群，注意，任一事件B及其对立事件组成一个完备事件群。
   现考虑任一事件$A$，因$\Omega$为必然事件，有$A=A\Omega=AB_1+AB_2+···$，因$B_1$，$B_2$,···两两互斥，显然$AB_1$，$AB_2$，···也两两互斥，故有
   $P(A)=P(AB_1)+P(AB_2)+···$
   再有条件概率的定义，有$P(AB_i)=P(B_i)P(A|B_i)$，故有全概率公式
   $P(A)=P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+···$
   在复杂条件下直接算$P(A)$不易，但$A$总是随着某个$B_i$伴出，适当去构造这样一组$B_i$往往可以简化计算。
   或者可以从另一个角度去理解，把$B_i$看做导致事件$A$发生的一种可能途径，对不同途径，$A$发生的概率即条件概率$P(A|B)$各不相同。而采取哪个途径却是随机的。这种机制下，$A$的综合概率$P(A)$应该是诸$P(A|B_i)(i=1,2,···)$以$P(B_i)(i=1,2,···)$为权的加权平均。
   详情见书P032
2. 贝叶斯公式
   在全概率公式的假定下，有
   $P(B_i|A)=P(AB_i)/P(A)=P(B_i)P(A|B_i)/\sum_jP(B_j)P(A|B_j)$
   该公式之所以著名，在于其现实乃至哲理意义的解释上：先看$P(B_1)$，$P(B_2)$，···，它是在没有进一步的信息（不知$A$是否发生）的情况下，人们对诸事件$B_1$，$B_2$，···发生的可能性大小的认识，现在有了新的信息（知道$A$发生），人们对$B_1$，$B_2$，···发生的可能性大小有了新的估价。
   如果我们把事件$A$看成结果，把诸事件$P(B_1)$，$P(B_2)$，···看成导致这个结果的可能的原因，则可以形象的把全概率公式看作由原因推结果，而贝叶斯公式则恰好相反，其作用在于由结果推原因，现在有一个结果$A$已经发生了，在众多可能的原因中，到底哪一个导致了这个结果。贝叶斯公式说，各原因可能性大小与$P(B_i|A)$成比例。其后例题也有说明，详见书P033