数学基础之概率论(1)——基础知识
声明写在开头,这里介绍的仅仅只是有关概率论的简单知识,如果想要进行深入了解,我个人使用的教材是浙江大学的概率论与数理统计,B站上也有相应的网课。
1、随机现象
在个别试验中结果呈现出不确定性,在大量重复试验中结果又具有统计规律性。
2、随机试验
对随机现象的观察具有一下3个特点的实验:
a. 可在相同条件下重复进行;
b. 试验结果可能不止一个,但是可以明确指出所有的可能结果;
c. 试验前无法确定最后的结果。
随机试验通常可以简称为试验。
3、样本空间
一个随机试验的所有可能结果组成的集合,记为
Ω
=
{
ω
}
,
\Omega=\{\omega\},
Ω={ω},有时也记为
S
=
{
e
}
S=\{e\}
S={e}。
4、样本点
试验的每一个结果或者样本空间的每个元素,记为
ω
\omega
ω或者
e
e
e。
5、事件
试验中可能出现也可能不出现的情况叫做随机事件,可以简称为事件,事件本质上是样本空间的一个子集,记为
A
、
B
、
C
A、B、C
A、B、C等,有
A
⊆
S
A\subseteq S
A⊆S。
6、事件之间的关系
a.
A
⊂
B
A\subset B
A⊂B(包含关系):
A
A
A发生必然导致
B
B
B发生。有等价关系:
A
=
B
⇔
A
⊂
B
A=B \Leftrightarrow A\subset B
A=B⇔A⊂B且
B
⊂
A
B\subset A
B⊂A。
b.
A
∪
B
A\cup B
A∪B(和事件):
A
A
A与
B
B
B的并,即事件
A
A
A与
B
B
B至少有一个发生。
∪
i
=
1
n
A
i
\cup^{n}_{i=1}A_{i}
∪i=1nAi:
n
n
n个事件
A
1
,
A
2
,
⋅
⋅
⋅
,
A
n
A_{1},A_{2},···,A_{n}
A1,A2,⋅⋅⋅,An至少有一个发生。
c.
A
∩
B
A\cap B
A∩B(积事件):
A
A
A与
B
B
B的交,即
A
A
A与
B
B
B都发生。
∩
i
=
1
n
A
i
\cap^{n}_{i=1}A_{i}
∩i=1nAi:
n
n
n个事件
A
1
,
A
2
,
⋅
⋅
⋅
,
A
n
A_{1},A_{2},···,A_{n}
A1,A2,⋅⋅⋅,An同时发生。
d. A ∖ B ( A − B ) A\setminus B(A-B) A∖B(A−B)(差事件):事件 A A A发生,而 B B B不发生。
e. ∅ \varnothing ∅(空集):不可能事件。
f. A ∩ B = ∅ A\cap B=\varnothing A∩B=∅(互斥):事件 A A A和 B B B不可能同时发生。
g. A ∪ B = S A\cup B=S A∪B=S且 A ∩ B = ∅ A\cap B=\varnothing A∩B=∅(互逆):事件 A A A与 B B B不可能同时发生,但必有一个发生。
h. A c A^{c} Ac(补集): A A A的补集,即 A A A不发生。
7、事件的运算
a. 交换律:
A
∪
B
=
B
∪
A
,
A
∩
B
=
B
∩
A
A\cup B=B\cup A, A\cap B=B\cap A
A∪B=B∪A,A∩B=B∩A
b. 结合律:
(
A
∪
B
)
∪
C
=
A
∪
(
B
∪
C
)
(A\cup B)\cup C=A\cup(B\cup C)
(A∪B)∪C=A∪(B∪C)
(
A
∩
B
)
∩
C
=
A
∩
(
B
∩
C
)
(A\cap B)\cap C=A\cap(B\cap C)
(A∩B)∩C=A∩(B∩C)
c. 分配律:
(
A
∪
B
)
∩
C
=
(
A
∩
C
)
∪
(
B
∩
C
)
(A\cup B)\cap C=(A\cap C)\cup(B\cap C)
(A∪B)∩C=(A∩C)∪(B∩C)
(
A
∩
B
)
∪
C
=
(
A
∪
C
)
∩
(
B
∪
C
)
(A\cap B)\cup C=(A\cup C)\cap(B\cup C)
(A∩B)∪C=(A∪C)∩(B∪C)
d. 德摩根率:
(
A
∪
B
)
c
=
(
A
c
)
∩
(
B
c
)
(A\cup B)^{c}=(A^{c})\cap(B^{c})
(A∪B)c=(Ac)∩(Bc)
(
A
∩
B
)
c
=
(
A
c
)
∪
(
B
c
)
(A\cap B)^{c}=(A^{c})\cup(B^{c})
(A∩B)c=(Ac)∪(Bc)
8、频数与频率
在相同条件下,进行
n
n
n次试验,在这
n
n
n次试验中事件
A
A
A发生的次数
n
A
n_{A}
nA,称为事件
A
A
A发生的频数,比值
n
A
n
\frac{n_{A}}{n}
nnA称为事件
A
A
A发生的频率,记为
f
n
(
A
)
f_{n}(A)
fn(A),即
f
n
(
A
)
=
n
A
n
f_{n}(A)=\frac{n_{A}}{n}
fn(A)=nnA。
频率有如下5条性质:
a.
0
⩽
f
n
(
A
)
⩽
1
0\leqslant f_{n}(A)\leqslant 1
0⩽fn(A)⩽1;
b.
f
n
(
S
)
=
1
,
f
n
(
∅
)
=
0
f_{n}(S)=1,f_{n}(\varnothing)=0
fn(S)=1,fn(∅)=0;
c. 可加性:若
A
1
,
A
2
,
⋅
⋅
⋅
,
A
k
A_{1},A_{2},···,A_{k}
A1,A2,⋅⋅⋅,Ak两两不相容,则
f
n
(
A
1
∪
A
2
∪
⋅
⋅
⋅
∪
A
k
)
=
f
n
(
A
1
)
+
⋅
⋅
⋅
+
f
n
(
A
k
)
f_{n}(A_{1}\cup A_{2}\cup···\cup A_{k})=f_{n}(A_{1})+···+f_{n}(A_{k})
fn(A1∪A2∪⋅⋅⋅∪Ak)=fn(A1)+⋅⋅⋅+fn(Ak);
d. 随机波动性:对于同样的
n
n
n,所得的
f
n
f_{n}
fn不一定相同;
e. 当
n
n
n充分大时,具有稳定性。
9、概率的定义
概率的统计定义:
实践证明,当试验次数
n
n
n增大时,
f
n
(
A
)
f_{n}(A)
fn(A)逐渐趋向一个稳定值,可将此稳定值记为
P
(
A
)
P(A)
P(A),作为事件
A
A
A的概率。
概率的公理化定义:
若对随机试验
E
E
E所对应的样本空间
S
S
S中的每一个事件
A
A
A,均赋予一实数
P
(
A
)
P(A)
P(A),集合函数
P
(
A
)
P(A)
P(A)满足条件:
(
1
)
(1)
(1)非负性:
P
(
A
)
⩾
0
P(A)\geqslant 0
P(A)⩾0;
(
2
)
(2)
(2)规范性:
P
(
S
)
=
1
P(S)=1
P(S)=1;
(
3
)
(3)
(3)可列可加性:设
A
1
,
A
2
,
A
3
⋅
⋅
⋅
A_{1},A_{2},A_{3}···
A1,A2,A3⋅⋅⋅是一系列两两无关的事件,即
A
i
∩
A
j
=
∅
,
(
i
≠
j
A_{i}\cap A_{j}=\varnothing,(i\neq j
Ai∩Aj=∅,(i=j且
i
,
j
=
1
,
2
,
3
,
⋅
⋅
⋅
)
i,j=1,2,3,···)
i,j=1,2,3,⋅⋅⋅),有
P
(
∪
k
=
1
∞
A
k
)
=
∑
k
=
1
∞
P
(
A
k
)
P(\cup_{k=1}^{\infty}A_{k})=\sum_{k=1}^{\infty}P(A_{k})
P(∪k=1∞Ak)=∑k=1∞P(Ak),
则称
P
(
A
)
P(A)
P(A)为事件
A
A
A的概率。
10、概率的性质
a.
P
(
∅
)
=
0
P(\varnothing)=0
P(∅)=0。
b. 若 A 1 , A 2 , ⋅ ⋅ ⋅ , A n A_{1},A_{2},···,A_{n} A1,A2,⋅⋅⋅,An是两两无关的事件,则有 P ( A 1 ∪ A 2 ∪ ⋅ ⋅ ⋅ ∪ A n ) = P ( A 1 ) + P ( A 2 ) + ⋅ ⋅ ⋅ + P ( A n ) P(A_{1}\cup A_{2}\cup···\cup A_{n})=P(A_{1})+P(A_{2})+···+P(A_{n}) P(A1∪A2∪⋅⋅⋅∪An)=P(A1)+P(A2)+⋅⋅⋅+P(An)(概率的有限可加性)。
c. 单调不减性:设 A , B A,B A,B为两个事件,且 A ⊂ B A\subset B A⊂B,则 P ( A ) ⩽ P ( B ) , P ( B − A ) = P ( B ) − P ( A ) P(A)\leqslant P(B),P(B-A)=P(B)-P(A) P(A)⩽P(B),P(B−A)=P(B)−P(A)。
d. 事件差的公式:对于任意事件
A
,
B
A,B
A,B,有
P
(
A
−
B
)
=
P
(
A
)
−
P
(
A
∩
B
)
P(A-B)=P(A)-P(A\cap B)
P(A−B)=P(A)−P(A∩B)。
e. 互补公式:对于任意事件 A A A,有 P ( A c ) = 1 − P ( A ) P(A^{c})=1-P(A) P(Ac)=1−P(A)。
f. 加法公式:对于任意事件
A
,
B
A,B
A,B,有
P
(
A
∪
B
)
=
P
(
A
)
+
P
(
B
)
−
P
(
A
∩
B
)
P(A\cup B)=P(A)+P(B)-P(A\cap B)
P(A∪B)=P(A)+P(B)−P(A∩B)
推广可得
n
n
n个事件和的情况:
P
(
∪
i
=
1
n
A
i
)
=
∑
i
=
1
n
P
(
A
i
)
−
∑
1
⩽
i
<
j
⩽
n
P
(
A
i
∩
A
j
)
+
∑
1
⩽
i
<
j
<
k
⩽
n
P
(
A
i
∩
A
j
∩
A
k
)
+
⋅
⋅
⋅
+
(
−
1
)
n
−
1
P
(
A
1
∩
A
2
∩
⋅
⋅
⋅
∩
A
n
)
P(\cup_{i=1}^{n}A_{i})=\sum_{i=1}^{n}P(A_{i})-\sum_{1\leqslant i<j\leqslant n}P(A_{i}\cap A_{j})+\sum_{1\leqslant i<j<k\leqslant n}P(A_{i}\cap A_{j}\cap A_{k})+···+(-1)^{n-1}P(A_{1}\cap A_{2}\cap···\cap A_{n})
P(∪i=1nAi)=∑i=1nP(Ai)−∑1⩽i<j⩽nP(Ai∩Aj)+∑1⩽i<j<k⩽nP(Ai∩Aj∩Ak)+⋅⋅⋅+(−1)n−1P(A1∩A2∩⋅⋅⋅∩An)。
11、古典概型
若试验
E
E
E满足
(
1
)
(1)
(1)有限性:样本空间
S
=
{
e
1
,
e
2
,
⋅
⋅
⋅
,
e
n
}
S=\{e_{1},e_{2},···,e_{n}\}
S={e1,e2,⋅⋅⋅,en};
(
2
)
(2)
(2)等可能性:(公认)
P
(
e
1
)
=
P
(
e
2
)
=
⋅
⋅
⋅
=
P
(
e
n
)
P(e_{1})=P(e_{2})=···=P(e_{n})
P(e1)=P(e2)=⋅⋅⋅=P(en)。
则称
E
E
E为古典概型,也称为等可能概型。
在古典概型中,设事件
A
A
A中所含样本点个数为
N
(
A
)
N(A)
N(A),以
N
(
S
)
N(S)
N(S)记样本空间
S
S
S中样本点总数,则有
P
(
A
)
=
N
(
A
)
N
(
S
)
P(A)=\frac{N(A)}{N(S)}
P(A)=N(S)N(A)。
P
(
A
)
P(A)
P(A)具有如下性质:
(
1
)
(1)
(1)
0
⩽
P
(
A
)
⩽
1
0\leqslant P(A) \leqslant 1
0⩽P(A)⩽1;
(
2
)
(2)
(2)
P
(
S
)
=
1
,
P
(
∅
)
=
0
P(S)=1,P(\varnothing)=0
P(S)=1,P(∅)=0;
(
3
)
(3)
(3)
A
∩
B
=
∅
,
A\cap B=\varnothing,
A∩B=∅,则
P
(
A
∪
B
)
=
P
(
A
)
+
P
(
B
)
P(A\cup B)=P(A)+P(B)
P(A∪B)=P(A)+P(B)。
古典概型的几类基本问题:
(
1
)
(1)
(1) 摸球问题
(
2
)
(2)
(2) 分球入盒问题
(
3
)
(3)
(3) 分组问题
(
4
)
(4)
(4) 随机取数问题
(
5
)
(5)
(5) 抽签问题
12、排列与组合的基本概念
a. 乘法定理:设完成一件事需要分两步,第一步有
n
1
n_{1}
n1种方法,第二步有
n
2
n_{2}
n2种方法,则完成这件事共有
n
1
n
2
n_{1}n_{2}
n1n2种方法。
b. 加法定理:设完成一件事可有两种途径,第一种途径有 n 1 n_{1} n1种方法,第二种途径有 n 2 n_{2} n2种方法,则完成这件事共有 n 1 + n 2 n_{1}+n_{2} n1+n2种方法。
c. 有重复排列:从含有 n n n个元素的集合中随机抽取 k k k次,每次取一个,记录结果后放回,将记录结果排成一列。共有 n k n^{k} nk种排列方式。
d. 无重复排列:从含有 n n n个元素的集合中随机抽取 k k k次,每次取一个,取后不放回,将所取元素排成一列。共有 A n k = n ( n − 1 ) ( n − 2 ) ⋅ ⋅ ⋅ ( n − k + 1 ) A^{k}_{n}=n(n-1)(n-2)···(n-k+1) Ank=n(n−1)(n−2)⋅⋅⋅(n−k+1)种排列方式。
e. 组合:从含有
n
n
n个元素的集合种随机抽取
k
k
k个,共有
C
n
k
=
(
k
n
)
=
A
n
k
k
!
=
n
!
k
!
(
n
−
k
)
!
C_{n}^{k}=(^{n}_{k})=\frac{A^{k}_{n}}{k!}=\frac{n!}{k!(n-k)!}
Cnk=(kn)=k!Ank=k!(n−k)!n!种取法。
13、条件概率
a. 符号解释:
在已知事件
A
A
A发生的条件下,事件
B
B
B发生的概率称为
A
A
A发生条件下
B
B
B发生的条件概率,记为
P
(
B
∣
A
)
P(B|A)
P(B∣A)。
b. 条件概率定义:
一般的,设
A
,
B
A,B
A,B是
S
S
S中的两个事件,
P
(
A
)
≠
0
P(A)\neq 0
P(A)=0,则
P
(
B
∣
A
)
=
P
(
A
∩
B
)
P
(
A
)
P(B|A)=\frac{P(A\cap B)}{P(A)}
P(B∣A)=P(A)P(A∩B)
称为事件
A
A
A发生的条件下事件
B
B
B发生的条件概率。
c. 条件概率性质:
(
P
(
A
)
≠
0
)
(P(A)\neq0)
(P(A)=0)
(
1
)
(1)
(1)
P
(
B
∣
A
)
⩾
0
P(B|A)\geqslant0
P(B∣A)⩾0;
(
2
)
(2)
(2)
P
(
S
∣
A
)
=
1
P(S|A)=1
P(S∣A)=1;
(
3
)
(3)
(3) 对一系列两两无关的事件
A
1
,
A
2
,
A
3
⋅
⋅
⋅
A_{1},A_{2},A_{3}···
A1,A2,A3⋅⋅⋅,有
P
(
A
1
∪
A
2
∪
⋅
⋅
⋅
∣
A
)
=
P
(
A
1
∣
A
)
+
P
(
A
2
∣
A
)
+
⋅
⋅
⋅
P(A_{1}\cup A_{2}\cup···|A)=P(A_{1}|A)+P(A_{2}|A)+···
P(A1∪A2∪⋅⋅⋅∣A)=P(A1∣A)+P(A2∣A)+⋅⋅⋅
d. 乘法公式:设 A , B A,B A,B为两事件, P ( A ) > 0 P(A)>0 P(A)>0,则 P ( A ∩ B ) = P ( A ) P ( B ∣ A ) P(A\cap B)=P(A)P(B|A) P(A∩B)=P(A)P(B∣A),并且该公式可以推广为: P ( A 1 ∩ A 2 ∩ ⋅ ⋅ ⋅ ∩ A n ) = P ( A 1 ) P ( A 2 ∣ A 1 ) ⋅ ⋅ ⋅ P ( A n ∣ A 1 ∩ A 2 ∩ ⋅ ⋅ ⋅ ∩ A n − 1 ) P(A_{1}\cap A_{2}\cap···\cap A_{n})=P(A_{1})P(A_{2}|A_{1})···P(A_{n}|A_{1}\cap A_{2}\cap···\cap A_{n-1}) P(A1∩A2∩⋅⋅⋅∩An)=P(A1)P(A2∣A1)⋅⋅⋅P(An∣A1∩A2∩⋅⋅⋅∩An−1)。
14、独立性
a. 两个事件的独立性:设
A
,
B
A,B
A,B是两个事件,若
P
(
A
∩
B
)
=
P
(
A
)
P
(
B
)
P(A\cap B)=P(A)P(B)
P(A∩B)=P(A)P(B),则称事件
A
A
A与
B
B
B相互独立,简称独立。
定理:以下四种情形等价
(
1
)
(1)
(1) 事件
A
,
B
A,B
A,B相互独立;
(
2
)
(2)
(2) 事件
A
c
,
B
A^{c},B
Ac,B相互独立;
(
3
)
(3)
(3) 事件
A
,
B
c
A,B^{c}
A,Bc相互独立;
(
4
)
(4)
(4) 事件
A
c
,
B
c
A^{c},B^{c}
Ac,Bc相互独立。
b. 多个事件的独立性:一般的,设
A
1
,
A
2
,
⋅
⋅
⋅
,
A
n
A_{1},A_{2},···,A_{n}
A1,A2,⋅⋅⋅,An是
n
n
n个事件,如果对任意
k
(
1
<
k
⩽
n
)
k(1<k\leqslant n)
k(1<k⩽n),任意的
1
⩽
i
1
<
i
2
<
⋅
⋅
⋅
<
i
k
⩽
n
1\leqslant i_{1}<i_{2}<···<i_{k}\leqslant n
1⩽i1<i2<⋅⋅⋅<ik⩽n,具有等式
P
(
A
i
1
∩
A
i
2
∩
⋅
⋅
⋅
∩
A
i
k
)
=
P
(
A
i
1
)
P
(
A
i
2
)
⋅
⋅
⋅
P
(
A
i
k
)
P(A_{i_{1}}\cap A_{i_{2}}\cap···\cap A_{i_{k}})=P(A_{i_{1}})P(A_{i_{2}})···P(A_{i_{k}})
P(Ai1∩Ai2∩⋅⋅⋅∩Aik)=P(Ai1)P(Ai2)⋅⋅⋅P(Aik),
则称
n
n
n个事件
A
1
,
A
2
,
⋅
⋅
⋅
,
A
n
A_{1},A_{2},···,A_{n}
A1,A2,⋅⋅⋅,An相互独立。
15、全概率公式与贝叶斯公式
a. 划分的定义:事件组
A
1
,
A
2
,
⋅
⋅
⋅
,
A
n
(
n
A_{1},A_{2},···,A_{n}(n
A1,A2,⋅⋅⋅,An(n可为
∞
)
\infty)
∞),称为样本空间
S
S
S的一个划分,如果满足:
(
1
)
(1)
(1)
∪
i
=
1
n
A
i
=
S
\cup_{i=1}^{n}A_{i}=S
∪i=1nAi=S;
(
2
)
(2)
(2)
A
i
A
j
=
∅
,
(
i
≠
j
A_{i}A_{j}=\varnothing,(i\neq j
AiAj=∅,(i=j且
i
,
j
=
1
,
2
,
⋅
⋅
⋅
,
n
)
i,j=1,2,···,n)
i,j=1,2,⋅⋅⋅,n)。
即
A
1
,
A
2
,
⋅
⋅
⋅
,
A
n
A_{1},A_{2},···,A_{n}
A1,A2,⋅⋅⋅,An任意两个不可能同时发生,但必有一个发生。
b. 全概率公式:设
A
1
,
A
2
,
⋅
⋅
⋅
,
A
n
A_{1},A_{2},···,A_{n}
A1,A2,⋅⋅⋅,An是
S
S
S的一个划分,且
P
(
A
i
)
>
0
,
(
i
=
1
,
2
,
⋅
⋅
⋅
,
n
)
P(A_{i})>0,(i=1,2,···,n)
P(Ai)>0,(i=1,2,⋅⋅⋅,n),则对任何事件
B
B
B有
P
(
B
)
=
∑
i
=
1
n
P
(
A
i
)
P
(
B
∣
A
i
)
P(B)=\sum_{i=1}^{n}P(A_{i})P(B|A_{i})
P(B)=∑i=1nP(Ai)P(B∣Ai),
上式即称为全概率公式。
c. 贝叶斯公式:设
A
1
,
A
2
,
⋅
⋅
⋅
,
A
n
A_{1},A_{2},···,A_{n}
A1,A2,⋅⋅⋅,An是
S
S
S的一个划分,且
P
(
A
i
)
>
0
,
(
i
=
1
,
2
,
⋅
⋅
⋅
,
n
)
P(A_{i})>0,(i=1,2,···,n)
P(Ai)>0,(i=1,2,⋅⋅⋅,n),则对任何事件
B
,
P
(
B
)
>
0
B,P(B)>0
B,P(B)>0,有
P
(
A
j
∣
B
)
=
P
(
A
j
)
P
(
B
∣
A
j
)
∑
i
=
1
n
P
(
A
i
)
P
(
B
∣
A
i
)
,
(
j
=
1
,
2
,
⋅
⋅
⋅
,
n
)
P(A_{j}|B)=\frac{P(A_{j})P(B|A_{j})}{\sum_{i=1}^{n}P(A_{i})P(B|A_{i})},(j=1,2,···,n)
P(Aj∣B)=∑i=1nP(Ai)P(B∣Ai)P(Aj)P(B∣Aj),(j=1,2,⋅⋅⋅,n),
上式即称为贝叶斯公式。