1.1集合
- 将一些研究对象放在一起,形成集合,而这些对象就称为集合的元素.
- 将我们感兴趣的所有元素放在一起,形成一个集合,这个集合称为空间,记作
Ω
\Omega
Ω.
当 Ω \Omega Ω确定以后,我们所讨论的集合 S S S都是 Ω \Omega Ω的子集.
1.2概率模型
概率模型的基本构成
- 样本空间 Ω \Omega Ω,这是一个试验的所有可能结果的集合
- 概率律,概率律为试验结果的集合 A A A(称之为事件)确定一个非负数 P ( A ) P(A) P(A)(称为事件A的概率)而这个非负数刻画了我们对事件 A A A的认识或所产生的信念的程度
1.2.1概率律
概率公理
(1) (非负性) 对一切事件
A
A
A, 满足
P
(
A
)
⩾
0
\mathrm{P}(A) \geqslant 0
P(A)⩾0.
(2) (可加性) 设
A
A
A 和
B
B
B 为两个互不相交的集合 (概率论中称为互不相容的 事件), 则它们的并满足
P ( A ∪ B ) = P ( A ) + P ( B ) \mathrm{P}(A \cup B)=\mathrm{P}(A)+\mathrm{P}(B) P(A∪B)=P(A)+P(B)
更一般地, 若 A 1 , A 2 , ⋯ A_{1}, A_{2}, \cdots A1,A2,⋯ 是一个互不相容的事件序列, 则它们的并满足
P ( A 1 ∪ A 2 ∪ ⋯ ) = P ( A 1 ) + P ( A 2 ) + ⋯ \mathrm{P}\left(A_{1} \cup A_{2} \cup \cdots\right)=\mathrm{P}\left(A_{1}\right)+\mathrm{P}\left(A_{2}\right)+\cdots P(A1∪A2∪⋯)=P(A1)+P(A2)+⋯
(3) (归一化) 整个样本空间 Ω ( \Omega( Ω( 称为必然事件) 的概率为 1, 即 P ( Ω ) = 1 \mathrm{P}(\Omega)=1 P(Ω)=1.
推导概率永远比1小
1 = P ( Ω ) = P ( A ∪ A c ) = P ( A ) + P ( A c ) = = > P ( A ) = 1 − P ( A c ) ≤ 1 1=P(\Omega)=P(A\cup A^c)=P(A)+P(A^c)==>\\ P(A)=1-P(A^c)\le 1 1=P(Ω)=P(A∪Ac)=P(A)+P(Ac)==>P(A)=1−P(Ac)≤1
推导 P ( Ω ) = 0 P(\Omega)=0 P(Ω)=0
1 = P ( Ω ) = P ( Ω ∪ ∅ ) = P ( Ω ) + P ( ∅ ) = 1 + P ( ∅ ) 1=\mathrm{P}(\Omega)=\mathrm{P}(\Omega \cup \varnothing)=\mathrm{P}(\Omega)+\mathrm{P}(\varnothing)=1+\mathrm{P}(\varnothing) 1=P(Ω)=P(Ω∪∅)=P(Ω)+P(∅)=1+P(∅)
由这个性质可知空事件 (称为不可能事件) 的概率为 0, 即
P ( ∅ ) = 0 \mathrm{P}(\varnothing)=0 P(∅)=0
推导可加性
令 A 1 , A 2 A_{1}, A_{2} A1,A2 和 A 3 A_{3} A3 为互不相容的事件, 重复利用可加公理, 可 得到
P ( A 1 ∪ A 2 ∪ A 3 ) = P ( A 1 ∪ ( A 2 ∪ A 3 ) ) = P ( A 1 ) + P ( A 2 ∪ A 3 ) = P ( A 1 ) + P ( A 2 ) + P ( A 3 ) . \begin{aligned} \mathrm{P}\left(A_{1} \cup A_{2} \cup A_{3}\right) &=\mathrm{P}\left(A_{1} \cup\left(A_{2} \cup A_{3}\right)\right) \\ &=\mathrm{P}\left(A_{1}\right)+\mathrm{P}\left(A_{2} \cup A_{3}\right) \\ &=\mathrm{P}\left(A_{1}\right)+\mathrm{P}\left(A_{2}\right)+\mathrm{P}\left(A_{3}\right) . \end{aligned} P(A1∪A2∪A3)=P(A1∪(A2∪A3))=P(A1)+P(A2∪A3)=P(A1)+P(A2)+P(A3).
1.2.2离散模型
离散概率律
设样本空间由有限个可能的结果组成,则事件的概率可由组成这个事件的试验结果的概率所决定. 事件 { s 1 , s 2 , ⋯ , s n } \left\{s_{1}, s_{2}, \cdots, s_{n}\right\} {s1,s2,⋯,sn} 的概率是 P ( s i ) \mathrm{P}\left(s_{i}\right) P(si) 之和, 即
P ( { s 1 , s 2 , ⋯ , s n } ) = P ( s 1 ) + P ( s 2 ) + ⋯ + P ( s n ) \mathrm{P}\left(\left\{s_{1}, s_{2}, \cdots, s_{n}\right\}\right)=\mathrm{P}\left(s_{1}\right)+\mathrm{P}\left(s_{2}\right)+\cdots+\mathrm{P}\left(s_{n}\right) P({s1,s2,⋯,sn})=P(s1)+P(s2)+⋯+P(sn)
离散均匀概率律 (古典概型)
设样本空间由 n n n 个等可能性的试验结果组成, 因此每个试验结果组成的事件 (称为基本事件) 的概率是相等的. 由此得到
P ( A ) = 含于事件 A 的试验结果数 n . \quad \\ \mathrm{P}(A)=\frac{\text { 含于事件 } A \text { 的试验结果数 }}{n} \text {. } P(A)=n 含于事件 A 的试验结果数 .
1.2.3 概率律的性质
概率律的若干性质
考虑一个概率律, 令
A
,
B
A, B
A,B 和
C
C
C 为事件.
(
a
)
(a)
(a) 若
A
⊂
B
A \subset B
A⊂B 则
P
(
A
)
⩽
P
(
B
)
\mathrm{P}(A) \leqslant \mathrm{P}(B)
P(A)⩽P(B).
(
b
)
(b)
(b)
P
(
A
∪
B
)
=
P
(
A
)
+
P
(
B
)
−
P
(
A
∩
B
)
\mathrm{P}(A \cup B)=\mathrm{P}(A)+\mathrm{P}(B)-\mathrm{P}(A \cap B)
P(A∪B)=P(A)+P(B)−P(A∩B)
(
c
)
(c)
(c)
P
(
A
∪
B
)
⩽
P
(
A
)
+
P
(
B
)
\mathrm{P}(A \cup B) \leqslant \mathrm{P}(A)+\mathrm{P}(B)
P(A∪B)⩽P(A)+P(B).
(
d
)
(d)
(d)
P
(
A
∪
B
∪
C
)
=
P
(
A
)
+
P
(
A
c
∩
B
)
+
P
(
A
c
∩
B
c
∩
C
)
.
\mathrm{P}(A \cup B \cup C)=\mathrm{P}(A)+\mathrm{P}\left(A^{c} \cap B\right)+\mathrm{P}\left(A^{c} \cap B^{c} \cap C\right) .
P(A∪B∪C)=P(A)+P(Ac∩B)+P(Ac∩Bc∩C).
1.3条件概率
1.3.1条件概率是一个概率律
对于给定的事件 B B B, 条件概率 P ( A ∣ B ) \mathrm{P}(A \mid B) P(A∣B) 形成了样本空间上的一个概率律, 即条 件概率满足概率的 3 条公理. 非负性是明显的. 又由于
P ( Ω ∣ B ) = P ( Ω ∩ B ) P ( B ) = P ( B ) P ( B ) = 1 \mathrm{P}(\Omega \mid B)=\frac{\mathbf{P}(\Omega \cap B)}{\mathrm{P}(B)}=\frac{\mathrm{P}(B)}{\mathrm{P}(B)}=1 P(Ω∣B)=P(B)P(Ω∩B)=P(B)P(B)=1
说明归一化公理也是满足的.
验证可加性. 设 A 1 A_{1} A1 和 A 2 A_{2} A2 是任意两个不相容的 事件,
P ( A 1 ∪ A 2 ∣ B ) = P ( ( A 1 ∪ A 2 ) ∩ B ) P ( B ) = P ( ( A 1 ∩ B ) ∪ ( A 2 ∩ B ) ) P ( B ) = P ( A 1 ∩ B ) + P ( A 2 ∩ B ) P ( B ) = P ( A 1 ∩ B ) P ( B ) + P ( A 2 ∩ B ) P ( B ) = P ( A 1 ∣ B ) + P ( A 2 ∣ B ) , \begin{aligned} \mathrm{P}\left(A_{1} \cup A_{2} \mid B\right) &=\frac{\mathrm{P}\left(\left(A_{1} \cup A_{2}\right) \cap B\right)}{\mathrm{P}(B)} \\ &=\frac{\mathrm{P}\left(\left(A_{1} \cap B\right) \cup\left(A_{2} \cap B\right)\right)}{\mathrm{P}(B)} \\ &=\frac{\mathrm{P}\left(A_{1} \cap B\right)+\mathrm{P}\left(A_{2} \cap B\right)}{\mathrm{P}(B)} \\ &=\frac{\mathrm{P}\left(A_{1} \cap B\right)}{\mathrm{P}(B)}+\frac{\mathrm{P}\left(A_{2} \cap B\right)}{\mathrm{P}(B)} \\ &=\mathrm{P}\left(A_{1} \mid B\right)+\mathrm{P}\left(A_{2} \mid B\right), \end{aligned} P(A1∪A2∣B)=P(B)P((A1∪A2)∩B)=P(B)P((A1∩B)∪(A2∩B))=P(B)P(A1∩B)+P(A2∩B)=P(B)P(A1∩B)+P(B)P(A2∩B)=P(A1∣B)+P(A2∣B),
条件概率的性质
-
设事件 B B B 满足 P ( B ) > 0 \mathrm{P}(B)>0 P(B)>0, 则给定 B B B 之下, 事件 A A A 的条件概率由下式给出
P ( A ∣ B ) = P ( A ∩ B ) P ( B ) \mathrm{P}(A \mid B)=\frac{\mathrm{P}(A \cap B)}{\mathrm{P}(B)} P(A∣B)=P(B)P(A∩B)这个条件概率在同一个样本空间 Ω \Omega Ω 上给出了一个新的 (条件) 概率律. 凡 是现有的概率律的所有性质对这个条件概率都是适用的.
-
由于条件概率所关心的事件都是事件 B B B 的子事件, 可以把条件概率看成 B B B 上的概率律, 即把事件 B B B 看成全空间或必然事件.
-
当试验的 Ω \Omega Ω 为有限集, 并且所有试验结果为等可能的情况下, 条件概率律 可由下式给出
P ( A ∣ B ) = 事件 A ∩ B 的试验结果数 事件 B 的试验结果数 \mathrm{P}(A \mid B)=\frac{\text { 事件 } A \cap B \text { 的试验结果数 }}{\text { 事件 } B \text { 的试验结果数 }} P(A∣B)= 事件 B 的试验结果数 事件 A∩B 的试验结果数 .
1.3.2乘法规则
乘法规则
假定所有涉及的条件概率都是正的, 我们有
P ( ∩ i = 1 n A i ) = P ( A I ) P ( A 2 ∣ A 1 ) P ( A 3 ∣ A 1 ∩ A 2 ) ⋯ P ( A n ∣ ∩ i = 1 n − 1 A i ) \mathrm{P}\left(\cap_{i=1}^{n} A_{i}\right)=\mathrm{P}\left(A_{\mathrm{I}}\right) \mathrm{P}\left(A_{2} \mid A_{1}\right) \mathrm{P}\left(A_{3} \mid A_{1} \cap A_{2}\right) \cdots \mathrm{P}\left(A_{n} \mid \cap_{i=1}^{n-1} A_{i}\right) P(∩i=1nAi)=P(AI)P(A2∣A1)P(A3∣A1∩A2)⋯P(An∣∩i=1n−1Ai)
证明:
由下列恒等式
P ( ∩ i = 1 n A i ) = P ( A 1 ) P ( A 2 ∩ A 1 ) P ( A 1 ) ⋅ P ( A 2 ∩ A 1 ∩ A 3 ) P ( A 1 ∩ A 2 ) ⋯ P ( ∩ i = 1 n A i ) P ( ⋂ i = 1 n − 1 A i ) \mathrm{P}\left(\cap_{i=1}^{n} A_{i}\right)=\mathrm{P}\left(A_{1}\right) \frac{\mathrm{P}\left(A_{2} \cap A_{1}\right)}{\mathrm{P}\left(A_{1}\right)} \cdot \frac{\mathrm{P}\left(A_{2} \cap A_{1} \cap A_{3}\right)}{\mathrm{P}\left(A_{1} \cap A_{2}\right)} \cdots \frac{\mathrm{P}\left(\cap_{i=1}^{n} A_{i}\right)}{\mathrm{P}\left(\bigcap_{i=1}^{n-1} A_{i}\right)} P(∩i=1nAi)=P(A1)P(A1)P(A2∩A1)⋅P(A1∩A2)P(A2∩A1∩A3)⋯P(⋂i=1n−1Ai)P(∩i=1nAi)
1.4全概率定理和贝叶斯准则
全摡率定理
设
A
1
,
A
2
,
⋯
,
A
n
A_{1}, A_{2}, \cdots, A_{n}
A1,A2,⋯,An 是一组互不相容的事件, 它形成样本空间的一个分割 (每一 个试验结果必定使得其中一个事件发生!). 又假定对每一个
i
,
P
(
A
i
)
>
0.
i, \mathrm{P}\left(A_{i}\right)>0 .
i,P(Ai)>0. 则对 于任何軎件
B
B
B, 下列公式成立
P ( B ) = P ( A 1 ∩ B ) + ⋯ + P ( A n ∩ B ) = P ( A 1 ) P ( B ∣ A 1 ) + ⋯ + P ( A n ) P ( B ∣ A n ) . \begin{aligned} \mathrm{P}(B) &=\mathrm{P}\left(A_{1} \cap B\right)+\cdots+\mathrm{P}\left(A_{n} \cap B\right) \\ &=\mathrm{P}\left(A_{1}\right) \mathrm{P}\left(B \mid A_{1}\right)+\cdots+\mathrm{P}\left(A_{n}\right) \mathrm{P}\left(B \mid A_{n}\right) . \end{aligned} P(B)=P(A1∩B)+⋯+P(An∩B)=P(A1)P(B∣A1)+⋯+P(An)P(B∣An).
证明:
由于事件 A 1 , A 2 , ⋯ , A n A_{1}, A_{2}, \cdots, A_{n} A1,A2,⋯,An 形成样本空间的一个分割, 事件 B B B 可以分解成不相交的 n n n 个事件的并, 即
B = ( A 1 ∩ B ) ∪ ⋯ ∪ ( A n ∩ B ) . B=\left(A_{1} \cap B\right) \cup \cdots \cup\left(A_{n} \cap B\right) . B=(A1∩B)∪⋯∪(An∩B).
利用可加公理, 得到
P ( B ) = P ( A 1 ∩ B ) + ⋯ + P ( A n ∩ B ) \mathrm{P}(B)=\mathrm{P}\left(A_{1} \cap B\right)+\cdots+\mathrm{P}\left(A_{n} \cap B\right) P(B)=P(A1∩B)+⋯+P(An∩B)
利用条件概率之定义, 我们得到
P ( A i ∩ B ) = P ( A i ) P ( B ∣ A i ) \mathrm{P}\left(A_{i} \cap B\right)=\mathrm{P}\left(A_{i}\right) \mathrm{P}\left(B \mid A_{i}\right) P(Ai∩B)=P(Ai)P(B∣Ai)
将上式代入前一式中得到
P ( B ) = P ( A 1 ) P ( B ∣ A 1 ) + ⋯ + P ( A n ) P ( B ∣ A n ) \mathbf{P}(B)=\mathrm{P}\left(A_{1}\right) \mathrm{P}\left(B \mid A_{1}\right)+\cdots+\mathrm{P}\left(A_{n}\right) \mathrm{P}\left(B \mid A_{n}\right) P(B)=P(A1)P(B∣A1)+⋯+P(An)P(B∣An)
贝叶斯准则
设 A 1 , A 2 , ⋯ , A n A_{1}, A_{2}, \cdots, A_{n} A1,A2,⋯,An 是一组互不相容的事件, 它形成样本空间的一个分割 (每个试验结果必定驶得其中一个事件发生!). 又假定对每一个 i , P ( A i ) > 0 i, \mathrm{P}\left(A_{i}\right)>0 i,P(Ai)>0. 则对 于任何橐件 B B B, 尺要它满足 P ( B ) > 0 \mathrm{P}(B)>0 P(B)>0, 下列公式成立
P ( A i ∣ B ) = P ( A i ) P ( B ∣ A i ) P ( B ) = P ( A i ) P ( B ∣ A i ) P ( A 1 ) P ( B ∣ A 1 ) + ⋯ + P ( A n ) P ( B ˉ ∣ A n ) \begin{aligned} \mathrm{P}\left(A_{i} \mid B\right) &=\frac{\mathrm{P}\left(A_{i}\right) \mathrm{P}\left(B \mid A_{i}\right)}{\mathrm{P}(B)} \\ &=\frac{\mathrm{P}\left(A_{i}\right) \mathrm{P}\left(B \mid A_{i}\right)}{\mathrm{P}\left(A_{1}\right) \mathrm{P}\left(B \mid A_{1}\right)+\cdots+\mathrm{P}\left(A_{n}\right) \mathrm{P}\left(\bar{B} \mid A_{n}\right)} \end{aligned} P(Ai∣B)=P(B)P(Ai)P(B∣Ai)=P(A1)P(B∣A1)+⋯+P(An)P(Bˉ∣An)P(Ai)P(B∣Ai)
备注:为证明贝叶斯准则, 只需注意到 P ( A i ) P ( B ∣ A i ) \mathrm{P}\left(A_{i}\right) \mathrm{P}\left(B \mid A_{i}\right) P(Ai)P(B∣Ai) 与 P ( A i ∣ B ) P ( B ) \mathrm{P}\left(A_{i} \mid B\right) \mathrm{P}(B) P(Ai∣B)P(B) 是相等的, 它们都等于 P ( A i ∩ B ) \mathrm{P}\left(A_{i} \cap B\right) P(Ai∩B), 这样得到了第一个等式. 至于第二个等式, 只需对 P ( B ) \mathrm{P}(B) P(B) 利用全概率公式即可.
1.5独立性
一个有兴趣的特殊情况是事件 B B B 的发生并没有给事件 A A A 带来新的信息, 它没有改变事件 A A A 发生的概率, 即
P ( A ∣ B ) = P ( A ) \mathrm{P}(A \mid B)=\mathrm{P}(A) P(A∣B)=P(A)
在上述等式成立的情况下, 称事件 A A A 是独立于事件 B B B 的. 注意, 由条件概率 的定义可知 P ( A ∣ B ) = P ( A ∩ B ) / P ( B ) \mathrm{P}(A \mid B)=\mathrm{P}(A \cap B) / \mathrm{P}(B) P(A∣B)=P(A∩B)/P(B), 上式等价于
P ( A ∩ B ) = P ( A ) P ( B ) \mathrm{P}(A \cap B)=\mathrm{P}(A) \mathrm{P}(B) P(A∩B)=P(A)P(B)
将后者作为事件 A A A 和事件 B B B 相互独立的正式定义, 其原因是后者包括了 P ( B ) = 0 \mathrm{P}(B)=0 P(B)=0 的情况, 而当 P ( B ) = 0 \mathrm{P}(B)=0 P(B)=0 的时候, P ( A ∣ B ) \mathrm{P}(A \mid B) P(A∣B) 是没有定义的. 在这个关系 中 A A A 和 B B B 具有对称的地位. 因此 A A A 独立于 B B B 蕴涵着 B B B 独立于 A . A . A. 这样我们可以 称 A A A 和 B B B 是相互独立的, 或 A A A 和 B B B 是相互独立的事件.
1.5.1 条件独立
在给定 C C C 之下, 若事件 A A A 和事件 B B B 满足
P ( A ∩ B ∣ C ) = P ( A ∣ C ) P ( B ∣ C ) \mathrm{P}(A \cap B \mid C)=\mathrm{P}(A \mid C) \mathrm{P}(B \mid C) P(A∩B∣C)=P(A∣C)P(B∣C)
则称 A A A 和 B B B 在给定 C C C 之下条件独立. 为了导出条件独立的另一个特征, 利用条件 概率的定义和乘法规则, 得到
P ( A ∩ B ∣ C ) = P ( A ∩ B ∩ C ) P ( C ) = P ( C ) P ( B ∩ C ) P ( C ) P ( A ∩ B ∩ C ) P ( B ∩ C ) P ( C ) = P ( C ) P ( B ∣ C ) P ( A ∣ B ∩ C ) P ( C ) = P ( B ∣ C ) P ( A ∣ B ∩ C ) \begin{aligned} \mathrm{P}(A \cap B \mid C) &=\frac{\mathrm{P}(A \cap B \cap C)}{\mathrm{P}(C)} \\ &=\frac{\mathrm{P}(C) \frac{\mathrm{P}(B \cap C)}{\mathrm{P(C)}} \frac{\mathrm{P}(A \cap B \cap C)}{\mathrm{P}(B \cap C)}}{\mathrm{P}(C)} \\ &=\frac{\mathrm{P}(C) \mathrm{P}(B \mid C) \mathrm{P}(A \mid B \cap C)}{\mathrm{P}(C)} \\ &=\mathrm{P}(B \mid C) \mathrm{P}(A \mid B \cap C) \end{aligned} P(A∩B∣C)=P(C)P(A∩B∩C)=P(C)P(C)P(C)P(B∩C)P(B∩C)P(A∩B∩C)=P(C)P(C)P(B∣C)P(A∣B∩C)=P(B∣C)P(A∣B∩C)
比较前面两组等式的最右端, 只要 P ( B ∣ C ) ≠ 0 \mathrm{P}(B \mid C) \neq 0 P(B∣C)=0, 那么 P ( B ∣ C ) \mathrm{P}(B \mid C) P(B∣C) 这个因子就可以消掉, 得到
P ( A ∣ B ∩ C ) = P ( A ∣ C ) \mathrm{P}(A \mid B \cap C)=\mathrm{P}(A \mid C) P(A∣B∩C)=P(A∣C)
这是条件独立的另一个等价定义 (要求 P ( B ∣ C ) ≠ 0 ) . \mathrm{P}(B \mid C) \neq 0) . P(B∣C)=0). 这个等式说明在给定 C C C 发生 的条件之下, 进一步假定 B B B 也发生, 并不影响事件 A A A 的条件概率. A A A 和 B B B 两个事件相互独立并不包含条件独立, 反过来也是如此.
独立性结论总结
独立性
-
两个事件 A A A 和 B B B 称为相互独立的, 如果它们满足
P ( A ∩ B ) = P ( A ) P ( B ) \mathrm{P}(A \cap B)=\mathrm{P}(A) \mathrm{P}(B) P(A∩B)=P(A)P(B)若 B B B 还满足 P ( B ) > 0 \mathrm{P}(B)>0 P(B)>0, 则独立性等价于
P ( A ∣ B ) = P ( A ) \mathrm{P}(A \mid B)=\mathrm{P}(A) P(A∣B)=P(A) -
若 A A A 与 B B B 相互独立, 则 A A A 与 B c B^{c} Bc 也相互独立.
-
设事件 C C C 满足 P ( C ) > 0 \mathrm{P}(C)>0 P(C)>0, 两个事件 A A A 和 B B B 称为在给定 C C C 的条件下条件
独立, 如果它们满足
P ( A ∩ B ∣ C ) = P ( A ∣ C ) P ( B ∣ C ) \mathrm{P}(A \cap B \mid C)=\mathrm{P}(A \mid C) \mathrm{P}(B \mid C) P(A∩B∣C)=P(A∣C)P(B∣C)若进一步假定 P ( B ∩ C ) > 0 \mathrm{P}(B \cap C)>0 P(B∩C)>0, 则 A A A 和 B B B 在给定 C C C 的条件下的条件独立
性与下面的条件是等价的
P ( A ∣ B ∩ C ) = P ( A ∣ C ) \mathrm{P}(A \mid B \cap C)=\mathrm{P}(A \mid C) P(A∣B∩C)=P(A∣C) -
独立性并不蕴涵条件独立性, 反之亦然.
1.5.2一组事件的独立性
几个事件的相互独立性的定义
设
A
1
,
⋯
,
A
n
A_{1}, \cdots, A_{n}
A1,⋯,An 为
n
n
n 个事件. 若它们满足
P
(
⋂
i
∈
S
A
i
)
=
∏
i
∈
S
P
(
A
i
)
,
\mathrm{P}\left(\bigcap_{i \in S} A_{i}\right)=\prod_{i \in S} \mathrm{P}\left(A_{i}\right), \quad
P(⋂i∈SAi)=∏i∈SP(Ai), 对任意
{
1
,
2
,
⋯
,
n
}
\{1,2, \cdots, n\}
{1,2,⋯,n} 的子集
S
S
S 成立.
则称
A
1
,
⋯
,
A
n
A_{1}, \cdots, A_{n}
A1,⋯,An 为相互独立的事件.
关于事件
A
1
,
A
2
,
A
3
A_{1}, A_{2}, A_{3}
A1,A2,A3, 独立性条件归结为下列 4 个条件:
P ( A 1 ∩ A 2 ) = P ( A 1 ) P ( A 2 ) P ( A 1 ∩ A 3 ) = P ( A 1 ) P ( A 3 ) P ( A 2 ∩ A 3 ) = P ( A 2 ) P ( A 3 ) P ( A 1 ∩ A 2 ∩ A 3 ) = P ( A 1 ) P ( A 2 ) P ( A 3 ) \begin{aligned} \mathrm{P}\left(A_{1} \cap A_{2}\right) &=\mathrm{P}\left(A_{1}\right) \mathrm{P}\left(A_{2}\right) \\ \mathrm{P}\left(A_{1} \cap A_{3}\right) &=\mathrm{P}\left(A_{1}\right) \mathrm{P}\left(A_{3}\right) \\ \mathrm{P}\left(A_{2} \cap A_{3}\right) &=\mathrm{P}\left(A_{2}\right) \mathrm{P}\left(A_{3}\right) \\ \mathrm{P}\left(A_{1} \cap A_{2} \cap A_{3}\right) &=\mathrm{P}\left(A_{1}\right) \mathrm{P}\left(A_{2}\right) \mathrm{P}\left(A_{3}\right) \end{aligned} P(A1∩A2)P(A1∩A3)P(A2∩A3)P(A1∩A2∩A3)=P(A1)P(A2)=P(A1)P(A3)=P(A2)P(A3)=P(A1)P(A2)P(A3)
前面 3 个等式说明任意两个事件是相互独立的, 这种性质称为两两独立. 但是第 4 个条件也非常重要, 它并不是前面 3 个等式的推论. 反过来, 第 4 个条件也不包含 前 3 个条件.
1.6计数法
1.6.1计数准则
计数准则
考虑由r个阶段组成的一个试验.假设:
(a)
在第1阶段有
n
1
n_1
n1个可能的结果;
(b)
对于第1阶段的任何一个结果,在第2阶段有
n
2
n_2
n2个可能的结果;
(c)
一般地,在前r-1个阶段的任何一个结果,在接下来的第r阶段有
n
r
n_r
nr个结果,则在
r
r
r个阶段的试验中一共有
n
1
n
2
.
.
.
n
r
n_1n_2...n_r
n1n2...nr个试验结果.
n个元素的集合的子集的个数
2 ⋅ 2 ⋯ 2 ⏟ n 次 = 2 n . \underbrace{2 \cdot 2 \cdots 2}_{n \text { 次 }}=2^{n} . n 次 2⋅2⋯2=2n.
可以用序贯的方法选择一个子集.可以对每一个元素做一个选择,并判断它是否属于这个子集.
这样一共分成n个阶段,每一个阶段有两种选择.
1.6.2n选k排列
首先假定 n n n 个不同的对象组成一个集合. 令 k k k 是一个正整数, k ⩽ n . k \leqslant n . k⩽n. 现在找出从 n n n 个对象中顺序地选出 k k k 个对象的方法数, 或 k k k 个不同对象的序列数. 作为第一阶段, 可以从 n n n 个对象中任意选一个. 当第一个对象选定以后, 在第二阶段, 只可能从乘下的 n − 1 n-1 n−1 个对象中选择一个. 当前两个对象选定以后, 在 第三阶段, 只可能从剩下的 n − 2 n-2 n−2 个对象中选择一个, 等等. 最后, 当选择第 k k k 个对象的时候, 只能从乘下的 n − ( k − 1 ) n-(k-1) n−(k−1) 个对象中选择了. 利用计数准则, 所有可能的序列数为
n ( n − 1 ) ⋯ ( n − k + 1 ) = n ( n − 1 ) ⋯ ( n − k + 1 ) ( n − k ) ⋯ 2 ⋅ 1 ( n − k ) ⋯ 2 ⋅ 1 = n ! ( n − k ) ! \begin{aligned} n(n-1) \cdots(n-k+1) &=\frac{n(n-1) \cdots(n-k+1)(n-k) \cdots 2 \cdot 1}{(n-k) \cdots 2 \cdot 1} \\ &=\frac{n !}{(n-k) !} \end{aligned} n(n−1)⋯(n−k+1)=(n−k)⋯2⋅1n(n−1)⋯(n−k+1)(n−k)⋯2⋅1=(n−k)!n!
特别当 k = n k=n k=n 的情况, 此时所有可能的序列数为
n ( n − 1 ) ⋯ 2 ⋅ 1 = n ! n(n-1) \cdots 2 \cdot 1=n ! n(n−1)⋯2⋅1=n!
这时, 这些序列称为 n n n 取 k k k 排列, 特别, 当 k = n k=n k=n 的时候, 简称为排列. (当 k = n k=n k=n 的时候, 关于 k k k 排列数的公式仍然有效, 原因是已经约定 0 ! = 1. 0 !=1 . 0!=1. )
1.6.3组合
组合数
( n k ) = n ! k ! ( n − k ) ! \left(\begin{array}{l} n \\ k \end{array}\right)=\frac{n !}{k !(n-k) !} (nk)=k!(n−k)!n!
组合数可以理解为排列数中选子集时,不区分元素顺序,所以相当于每一个组合对应了 k ! k! k!个不同的排列,所以组合数为排列数除以 k ! k! k!
1.6.4分割
分割数
( n n 1 , n 2 , ⋯ , n r ) = n ! n 1 ! n 2 ! ⋯ n r ! \left(\begin{array}{c} n \\ n_{1}, n_{2}, \cdots, n_{r} \end{array}\right)=\frac{n !}{n_{1} ! n_{2} ! \cdots n_{r} !} (nn1,n2,⋯,nr)=n1!n2!⋯nr!n!
推导过程
给定一个元素个数为 n n n 的集合, 并设 n 1 , n 2 , ⋯ , n r n_{1}, n_{2}, \cdots, n_{r} n1,n2,⋯,nr 为非㑔整数, 其总和为 n n n. 现在考虑将具有 n n n 个元素的集合分解成 r r r 个不相交的子集, 使得第 i i i 个子集元素 个数刚好是 n i n_{i} ni. 问一共有多少种分解的方法.
现在分阶段每次确定一个子集. 一共有 ( n n 1 ) \left(\begin{array}{l}n \\ n_{1}\end{array}\right) (nn1) 种方法确定第一个子集. 当第一个子集确定以后, 只乘下 n − n 1 n-n_{1} n−n1 个元素可以用来确定第二个子集. 这样在确定第二 个子集的时候, 一共有 ( n − n 1 n 2 ) \left(\begin{array}{c}n-n_{1} \\ n_{2}\end{array}\right) (n−n1n2) 种方法, 以此类推. 对 r r r 个阶段的选择过程利用计数准则得到总共的选择方法数目为
( n n 1 ) ( n − n 1 n 2 ) ( n − n 1 − n 2 n 3 ) ⋯ ( n − n 1 − ⋯ − n r − 1 n r ) , \left(\begin{array}{c} n \\ n_{1} \end{array}\right)\left(\begin{array}{c} n-n_{1} \\ n_{2} \end{array}\right)\left(\begin{array}{c} n-n_{1}-n_{2} \\ n_{3} \end{array}\right) \cdots\left(\begin{array}{c} n-n_{1}-\cdots-n_{r-1} \\ n_{r} \end{array}\right), (nn1)(n−n1n2)(n−n1−n2n3)⋯(n−n1−⋯−nr−1nr),
上式等于
n ! n 1 ! ( n − n 1 ) ! ⋅ ( n − n 1 ) ! n 2 ! ( n − n 1 − n 2 ) ! ⋯ ( n − n 1 − ⋯ − n r − 1 ) ! n r ! ( n − n 1 − ⋯ − n r − 1 − n r ) ! \frac{n !}{n_{1} !\left(n-n_{1}\right) !} \cdot \frac{\left(n-n_{1}\right) !}{n_{2} !\left(n-n_{1}-n_{2}\right) !} \cdots \frac{\left(n-n_{1}-\cdots-n_{r-1}\right) !}{n_{r} !\left(n-n_{1}-\cdots-n_{r-1}-n_{r}\right) !} n1!(n−n1)!n!⋅n2!(n−n1−n2)!(n−n1)!⋯nr!(n−n1−⋯−nr−1−nr)!(n−n1−⋯−nr−1)!
经过消去化简, 上式等于
n ! n 1 ! n 2 ! ⋯ n r ! \frac{n !}{n_{1} ! n_{2} ! \cdots n_{r} !} n1!n2!⋯nr!n!
这个数称为多项系数, 并且用下列记号表示:
( n n 1 , n 2 , ⋯ , n r ) \left(\begin{array}{c} n \\ n_{1}, n_{2}, \cdots, n_{r} \end{array}\right) (nn1,n2,⋯,nr)
1.6.5小结
计数法汇总
- n n n 个对象的排列数: n ! n ! n!.
-
n
n
n 个对象中取
k
k
k 个对象的排列数:
n
!
/
(
n
−
k
)
!
n ! /(n-k) !
n!/(n−k)!
- n n n 个对象中取 k k k 个对象的组合数: ( n k ) = n ! k ! ( n − k ) ! \left(\begin{array}{l}n \\ k\end{array}\right)=\frac{n !}{k !(n-k) !} (nk)=k!(n−k)!n!.
- 将 n n n 个对象分成 r r r 个组的分割数, 其中第 i i i 个组具有 n i n_{i} ni 个对象:
( n n 1 , n 2 , ⋯ , n r ) = n ! n 1 ! n 2 ! ⋯ n r ! \left(\begin{array}{c} n \\ n_{1}, n_{2}, \cdots, n_{r} \end{array}\right)=\frac{n !}{n_{1} ! n_{2} ! \cdots n_{r} !} (nn1,n2,⋯,nr)=n1!n2!⋯nr!n!