1.1 基本概念
- 随机试验(E):对随机现象进行观察
- 样本点( ω {\omega} ω):随机试验每一个可能结果
- 样本空间( Ω {\Omega} Ω):样本点集合,可分为离散和连续样本空间
- 随机事件:样本点集合,是样本空间子集,一定条件下结果不同
- 必然事件:包含所有样本点的事件
- 基本事件:仅由一个样本点组成,每次试验必定 发生且只可能发生一个基本事件。
- 不可能事件:不包含任何样本点的事件
1.2 随机事件
事件间关系
- 包含:A发生必然使B发生,则称A包含于B,记为
A ⊂ B \mathbf{A} \subset \mathbf{B} A⊂B - 相等:同时满足A包含于B,B包含于A
- 互不相容:A,B不能同时发生
- 并:A,B至少一个发生(或),记为 A ∪ B {\mathbf{A}\cup\mathbf{B}} A∪B,不一定为A+B
- 交:A,B同时发生(与),记为 A ∩ B {\mathbf{A}\cap\mathbf{B}} A∩B 或 A B {\mathbf{A}\mathbf{B}} AB
- 差:A发生而B不发生,记为A\B ,不一定为A - B
- 对称差:A\B + B\A
- 对立:事件 Ω \ A {\Omega \backslash \mathbf{A}} Ω\A ,记为 A ‾ \overline{A} A
注:
- A,B互不相容,当且仅当AB= 0
- AB = 0时,将 A ∪ B {\mathbf{A} \cup \mathbf{B}} A∪B 写为A+B
- 当 A ⊂ B {\mathbf{A}\subset\mathbf{B}} A⊂B 时,可将B\A写为B-A
- A 1 A 2 ⋯ A n {\mathbf{A_1}\mathbf{A_2}\cdots\mathbf{A_n}} A1A2⋯An 取并(至少一个发生),可记为 ⋃ i = 1 n A i {\bigcup_{i=1}^n\mathbf{A_i}} ⋃i=1nAi
- 事件间运算律,可参见集合论中相关运算律
对偶公式:
( 1 ) A ∪ B ‾ = A ‾ ∩ B ‾ ( 2 ) A ∩ B ‾ = A ‾ ∪ B ‾ (1)\overline{\mathbf{A}\cup\mathbf{B}} = \overline{\mathbf{A}}\cap\overline{\mathbf{B}} \qquad(2)\overline{\mathbf{A}\cap\mathbf{B}} = \overline{\mathbf{A}}\cup\overline{\mathbf{B}} (1)A∪B=A∩B(2)A∩B=A∪B
一个小问题: A B ‾ \overline{AB} AB 等于 A ‾ × B ‾ \overline{A}\times\overline{B} A×B 吗?
由上述公式 A B ‾ = A ∩ B ‾ = A ‾ ∪ B ‾ \overline{AB}=\overline{A\cap B} = \overline{A}\cup\overline{B} AB=A∩B=A∪B ,显然不等于 A ‾ × B ‾ \overline{A}\times\overline{B} A×B
而从事件含义上看, A B ‾ \overline{AB} AB 表示事件A,B不同时发生概率,而 A ‾ × B ‾ \overline{A}\times\overline{B} A×B 表示A不发生且B不发生,含义不同
事件域
f \mathcal{f} f 是由样本空间 Ω {\Omega} Ω 部分子集(不同随机事件)组成的集合族,若 f {\mathcal{f}} f 满足
- Ω ∈ f {\Omega\in\mathcal{f}} Ω∈f
- A ∈ f \mathbf{A}\in\mathcal{f} A∈f 且 A ‾ ∈ f \overline{\mathbf{A}}\in\mathcal{f} A∈f
-
∀
n
≥
1
,
A
n
∈
f
\forall n \geq1,\mathbf{A_n} \in\mathcal{f}
∀n≥1,An∈f ,且
⋃
i
=
1
n
A
i
∈
f
\bigcup_{i=1}^n\mathbf{A_i}\in\mathcal{f}
⋃i=1nAi∈f
则 f \mathcal{f} f 为样本空间上事件域, f \mathcal{f} f 对样本空间上事件的有限交并封闭
补个例题:
- 由事件域定义, ∀ n ≥ 1 , A n ∈ f \forall n \geq1,\mathbf{A_n} \in\mathcal{f} ∀n≥1,An∈f ,且 ⋃ i = 1 n A i ∈ f \bigcup_{i=1}^n\mathbf{A_i}\in\mathcal{f} ⋃i=1nAi∈f ,由 A , B ∈ f \mathbf{A},\mathbf{B}\in\mathcal{f} A,B∈f ,故 A ∪ B ∈ f \mathbf{A}\cup\mathbf{B}\in\mathcal{f} A∪B∈f
- A B ∈ A \mathbf{A}\mathbf{B}\in\mathbf{A} AB∈A ,又 A , B ∈ f \mathbf{A},\mathbf{B}\in\mathcal{f} A,B∈f , A B ∈ f \mathbf{A}\mathbf{B}\in\mathcal{f} AB∈f
- A \ B ∈ A \mathbf{A}\backslash \mathbf{B}\in\mathbf{A} A\B∈A ,又 A , B ∈ f \mathbf{A},\mathbf{B}\in\mathcal{f} A,B∈f , A \ B ∈ f \mathbf{A}\backslash\mathbf{B}\in\mathcal{f} A\B∈f
- A Δ B ∈ A ∪ B \mathbf{A}\Delta\mathbf{B}\in\mathbf{A}\cup\mathbf{B} AΔB∈A∪B ,由1有 A Δ B ∈ f \mathbf{A}\Delta\mathbf{B}\in\mathcal{f} AΔB∈f
1.3 概率及其性质
公理化定义
- 非负性
P ( A ) ≥ 0 P(A) \geq 0 P(A)≥0 - 正则性
P ( Ω ) = 1 P(\Omega) = 1 P(Ω)=1 - 可列可加性(对互不相容事件)
P ( ∑ n = 1 ∞ A n ) = ∑ n = 1 ∞ P ( A n ) P(\sum_{n = 1}^\infty\mathbf{A_n}) = \sum_{n = 1}^\infty P(\mathbf{A_n}) P(n=1∑∞An)=n=1∑∞P(An)
注:
概率是自变量为是集合的函数
性质
- AB = 0时, P ( A + B ) = P ( A ) + P ( B ) {P(\mathbf{A} + \mathbf{B}) = P(\mathbf{A})+P(\mathbf{B})} P(A+B)=P(A)+P(B)
- 若 A ⊃ B {\mathbf{A}\supset\mathbf{B}} A⊃B, P ( A − B ) = P ( A ) − P ( B ) {P(\mathbf{A} - \mathbf{B}) = P(\mathbf{A})-P(\mathbf{B})} P(A−B)=P(A)−P(B) ,一般地, P ( A \ B ) = P ( A ) − P ( A B ) {P(\mathbf{A} \backslash \mathbf{B}) = P(\mathbf{A})-P(\mathbf{A}\mathbf{B})} P(A\B)=P(A)−P(AB)
-
P
(
A
∪
B
)
=
P
(
A
)
+
P
(
B
)
−
P
(
A
B
)
P(\mathbf{A}\cup\mathbf{B})=P(\mathbf{A})+P(\mathbf{B})-P(\mathbf{A}\mathbf{B})
P(A∪B)=P(A)+P(B)−P(AB)
P ( A ∪ B ∪ C ) = P ( A ) + P ( B ) − P ( A B ) − P ( A C ) − P ( B C ) + P ( A B C ) P(\mathbf{A}\cup\mathbf{B}\cup\mathbf{C})=P(\mathbf{A})+P(\mathbf{B})-P(\mathbf{A}\mathbf{B})-P(\mathbf{A}\mathbf{C})-P(\mathbf{B}\mathbf{C})+P(\mathbf{A}\mathbf{B}\mathbf{C}) P(A∪B∪C)=P(A)+P(B)−P(AB)−P(AC)−P(BC)+P(ABC) 推广得庞加莱公式:
P ( ⋃ i = 1 n A i ) = ∑ m = 1 n ( − 1 ) m − 1 S m P(\bigcup_{i=1}^n\mathbf{A_i})=\sum_{m = 1}^n(-1)^{m-1}S_m P(⋃i=1nAi)=∑m=1n(−1)m−1Sm
下面使用数学归纳法证明:
n = 1时,
P
(
A
1
)
=
S
1
P(A_1) = S_1
P(A1)=S1
n = 2时 ,
P
(
A
1
∪
A
1
)
=
P
(
A
1
)
+
P
(
A
2
)
−
P
(
A
1
A
2
)
P(\mathbf{A_1}\cup\mathbf{A_1})=P(\mathbf{A_1})+P(\mathbf{A_2})-P(\mathbf{A_1}\mathbf{A_2})
P(A1∪A1)=P(A1)+P(A2)−P(A1A2)
若n =m时,该公式成立,则有
P
(
⋂
k
=
1
m
A
k
)
=
∑
k
=
1
m
P
(
A
k
)
−
∑
i
<
j
P
(
A
i
A
j
)
+
⋯
+
(
−
1
)
n
+
1
P
(
A
1
⋯
A
m
)
P(\bigcap_{k=1}^m\mathbf{A_k}) =\sum_{k = 1}^{m}P(A_k)-\sum_{i<j}P(A_iA_j)+\cdots+(-1)^{n+1}P(A_1\cdots A_{m})
P(⋂k=1mAk)=∑k=1mP(Ak)−∑i<jP(AiAj)+⋯+(−1)n+1P(A1⋯Am)
n = m+1时,
P
(
⋂
k
=
1
m
+
1
A
k
)
=
P
(
A
m
+
1
)
+
P
(
⋂
k
=
1
m
A
k
)
−
P
(
A
m
+
1
⋂
k
=
1
m
A
k
)
=
∑
k
=
1
m
+
1
P
(
A
k
)
−
∑
i
<
j
P
(
A
i
A
j
)
+
⋯
+
(
−
1
)
m
+
1
P
(
A
1
⋯
A
m
+
1
)
\begin{equation*} \begin{split} P(\bigcap_{k=1}^{m+1}\mathbf{A_k})&=P(A_{m+1})+P(\bigcap_{k=1}^m\mathbf{A_k})-P(A_{m+1}\bigcap_{k=1}^m\mathbf{A_k})\\ &= \sum_{k = 1}^{m+1}P(A_k)-\sum_{i<j}P(A_iA_j)+\cdots+(-1)^{m+1}P(A_1\cdots A_{m+1}) \end{split} \end{equation*}
P(k=1⋂m+1Ak)=P(Am+1)+P(k=1⋂mAk)−P(Am+1k=1⋂mAk)=k=1∑m+1P(Ak)−i<j∑P(AiAj)+⋯+(−1)m+1P(A1⋯Am+1) 符合原命题结构,得证
概率计算方法
古典方法
条件:
- 样本空间有限
- 每个事件等可能
如此,事件发生概率与所含样本点个数成正比,用|A|表示事件A所含样本点个数
P ( A ) = ∣ A ∣ ∣ Ω ∣ P(A) = \frac{\mid A\mid}{\mid\Omega\mid} P(A)=∣Ω∣∣A∣
可结合对立事件等计算概率
例1: 口袋中有n-1个黑球,1个白球,每次随机摸一球,并换入一个黑球求取k次时取到的球是黑球的概率
记
A
k
A_k
Ak 表示第k次时取到的球是黑球,
P
(
A
1
)
=
n
−
1
n
P(A_1)=\frac{n-1}{n}
P(A1)=nn−1
由于一次取到白球后,之后取到的全是黑球,故事件
A
k
‾
\overline{A_k}
Ak 可表示为
A
1
A
2
…
A
k
−
1
A
k
‾
A_1A_2\dots A_{k-1}\overline{A_k}
A1A2…Ak−1Ak ,则
P
(
A
k
)
=
1
−
p
(
A
k
‾
)
=
1
−
P
(
A
1
A
2
…
A
k
−
1
A
k
‾
)
=
n
k
−
(
n
−
1
)
k
−
1
n
k
P(A_k) = 1 - p(\overline{A_k}) = 1-P(A_1A_2\dots A_{k-1}\overline{A_k}) = \frac{n^k-(n-1)^{k-1}}{n^k}
P(Ak)=1−p(Ak)=1−P(A1A2…Ak−1Ak)=nknk−(n−1)k−1
频率方法
用频率稳定值代替概率
几何方法
借助面积/体积等计算
条件:
- 样本空间为n维空间中有界区域, L ( Ω ) > 0 L(\Omega) > 0 L(Ω)>0
- 每个样本点落在子区域内概率与该区域度量成正比
用L(A)表示A的度量
P ( A ) = L ( A ) L ( Ω ) P(A) = \frac{L(A)}{L(\Omega)} P(A)=L(Ω)L(A)
例:Buffon投针问题
平面上有许多间距为a的等距平行 线,随机地往上扔一根长为l(l < a)的针,求针与平行线 相交的概率。
条件概率
在给定概率空间
(
Ω
,
f
,
P
)
(\Omega,f,P)
(Ω,f,P) 中,事件B满足
B
∈
f
B \in f
B∈f ,
P
(
B
)
>
0
P(B) > 0
P(B)>0,则
∀
A
∈
f
\forall A \in f
∀A∈f 有
P
(
A
∣
B
)
=
P
(
A
B
)
P
(
B
)
P(A|B) = \frac{P(AB)}{P(B)}
P(A∣B)=P(B)P(AB)
性质:
-
非负: P ( A ∣ B ) ≥ 0 P(A|B) \geq 0 P(A∣B)≥0
-
正则: P ( Ω ∣ B ) = 1 P(\Omega|B) = 1 P(Ω∣B)=1
-
可列可加性:
P ( ∑ n = 1 ∞ A n ∣ B ) = ∑ n = 1 ∞ P ( A n ∣ B ) P(\sum_{n = 1}^\infty\mathbf{A_n}|\mathbf{B}) = \sum_{n = 1}^\infty P(\mathbf{A_n}|\mathbf{B}) P(n=1∑∞An∣B)=n=1∑∞P(An∣B) -
特殊性质
P ( A ‾ ∣ B ) = 1 − P ( A ∣ B ) P(\overline{A}|B) = 1 - P(A|B) P(A∣B)=1−P(A∣B)
P ( A ∪ C ∣ B ) = P ( A ∣ B ) + P ( C ∣ B ) − P ( A ∩ C ∣ B ) P(A\cup C|B) = P(A|B) +P(C|B) - P(A\cap C|B) P(A∪C∣B)=P(A∣B)+P(C∣B)−P(A∩C∣B)
逆用条件概率公式可推导乘法公式
P
(
A
B
)
=
P
(
A
∣
B
)
P
(
B
)
P(AB) = P(A|B)P(B)
P(AB)=P(A∣B)P(B)
推广可得
P
(
A
1
A
2
⋯
A
n
)
=
(
P
(
A
1
)
P
(
A
2
∣
A
1
)
⋯
P
(
A
n
∣
A
1
⋯
A
n
−
1
)
P(A_1A_2\cdots A_n) = (P(A_1)P(A2|A1)\cdots P(A_n|A_1\cdots A_{n-1})
P(A1A2⋯An)=(P(A1)P(A2∣A1)⋯P(An∣A1⋯An−1)
还可推导得出全概率公式
P
(
A
)
=
P
(
A
∣
B
)
P
(
B
)
+
P
(
A
∣
B
‾
)
P
(
B
‾
)
P(A) = P(A|B)P(B)+P(A|\overline{B})P(\overline{B})
P(A)=P(A∣B)P(B)+P(A∣B)P(B)
推广可得,若
B
1
⋯
B
k
B_1\cdots B_k
B1⋯Bk 为样本空间f的一组分割,
∀
A
∈
f
\forall A\in f
∀A∈f ,有
P
(
A
)
=
∑
i
=
1
k
P
(
B
i
)
P
(
A
∣
B
i
)
P(A) = \sum_{i=1}^kP(B_i)P(A|B_i)
P(A)=i=1∑kP(Bi)P(A∣Bi)
易见
P
(
A
)
=
P
(
A
∣
B
)
P
(
B
)
+
P
(
A
∣
B
‾
)
P
(
B
‾
)
P(A) = P(A|B)P(B)+P(A|\overline{B})P(\overline{B})
P(A)=P(A∣B)P(B)+P(A∣B)P(B) 为上式的特殊形式,其中,
B
,
B
‾
B,\overline{B}
B,B 为样本空间一组分割
例:抽签
贝叶斯公式
证明思路:
P
(
B
j
∣
A
)
=
P
(
A
B
j
)
P
(
A
)
P(B_j|A) = \frac{P(AB_j)}{P(A)}
P(Bj∣A)=P(A)P(ABj) ,将
P
(
A
B
j
)
P(AB_j)
P(ABj) 逆用条件概率展开,P(A)使用该分割下全概率公式可得
P
(
B
j
)
P(B_j)
P(Bj) 可视为事件A发生的条件,因而称为先验概率,而
P
(
B
j
∣
A
)
P(B_j|A)
P(Bj∣A) 可视为已知最后结果,反求先验概率。更通俗的来说,由于A的 发生,有了新的信息后,再对导致 A 发生的原因发生的可能性大小重新加 以修正
独立事件
一般来说,
P
(
A
∣
B
)
≠
P
(
A
)
P(A|B) \neq P(A)
P(A∣B)=P(A) 则表明事件A的发生受B的影响
P(AB) = P(A)P(B)