1.1 概率是什么
衡量某种情况(事件)出现的可能性大小的一种指标。
1.1.1 主观概率
见书P002
1.1.2 试验与事件
概率论中事件的含义,分3点在P003到P004,包括试验的含义,随机事件,必然事件,不可能事件的含义。
1.1.3 古典概率
古典概率的定义:设一个试验有
N
N
个等可能的结果,而事件E恰好包含其中的个结果,则事件
E
E
的概率,记为,定义为
P(E)=M/N
P
(
E
)
=
M
/
N
局限性:只适用于全部试验结果为有限个,且等可能性成立的情况。某些情况下这个概念可稍稍引申到试验结果有无限多个的情况,就是所谓的几何概率。
古典概率的计算主要基于排列组合。
1.1.4 概率的统计定义
概率的统计定义:通过实验去估计概率的方法(频率估计概率)。
重要性:1.提供一种估计概率的方法。2.提供一种检验理论正确与否的准则。(见P008)
认为,频率只是概率的估计而非概率本身,或者说说概率就是当试验次数无限增大时频率的极限。
1.1.5 概率的公理化定义
柯氏公理体系(见P009)
1.2 古典概率的计算
1.2.1 排列组合的几个简单公式
-
n
n
个不同物件取个的排列总数,为
Arn=n(n−1)(n−2)...(n−r+1) A n r = n ( n − 1 ) ( n − 2 ) . . . ( n − r + 1 ) -
n
n
个不同物件去个的不同组合总数,为
Crn=Arn/r!=n!/(r!(n−r)!) C n r = A n r / r ! = n ! / ( r ! ( n − r ) ! )
也可以写成
Crn=n(n−1)...(n−r+1)/r! C n r = n ( n − 1 ) . . . ( n − r + 1 ) / r !
只要 r r 为非负整数,不论为任何实数,不必限制为自然数。 - 与二项展开式的关系
令 a=b=1 a = b = 1 可得
∑ni=0Cin=2n ∑ i = 0 n C n i = 2 n
令 a=−1,b=1 a = − 1 , b = 1 可得
∑ni=0Cin(−1)i=0 ∑ i = 0 n C n i ( − 1 ) i = 0
还可由恒等式 (1+x)m+n=(1+x)m(1+x)n ( 1 + x ) m + n = ( 1 + x ) m ( 1 + x ) n ,即
∑m+nj=0Cjm+nxj=∑mi=0Cimxj∑nj=0Cjnxj ∑ j = 0 m + n C m + n j x j = ∑ i = 0 m C m i x j ∑ j = 0 n C n j x j
中 xk x k 项的系数可得:
Ckm+n=∑ki=0CimCk−in C m + n k = ∑ i = 0 k C m i C n k − i -
n
n
个不同物件分成堆,各堆物件数分别为
r1,...,rk
r
1
,
.
.
.
,
r
k
的分法是
n!/(r1!...rk!) n ! / ( r 1 ! . . . r k ! )
即
Cr1nCr2n−r1Cr3n−r1−r2...Crkn−r1−r2−...−rk−1 C n r 1 C n − r 1 r 2 C n − r 1 − r 2 r 3 . . . C n − r 1 − r 2 − . . . − r k − 1 r k
1.2.2古典概率计算举例
例题比较经典
1.3 事件的运算,条件概率与独立性
1.3.1 事件的蕴含,包含及相等
蕴含与包含同义,见书P017
1.3.2 事件的互斥与对立
若 A A ,两事件不能在同一次试验中发生(但可以都不发生),则称他们是互斥的。
1.3.3 事件的和(或称并)
见书P019
1.3.4 概率的加法定理
定理3.1 若干个互斥事件之和的概率,等于各事件的概率之和。
事件的个数可以是有限的或者无限的,其重要条件是两两互斥。
属于柯氏公理体系,见书P021.
系3.1 以
A′
A
′
表示
A
A
的对立事件,则
1.3.5 事件的积(或称交),事件的差
定义见书
1.3.6 条件概率
定义3.1 设有两个事件
A
A
,,而
P(B)
P
(
B
)
不等于0,则“在给定
B
B
发生的条件下的条件概率”,记为
P(A|B)
P
(
A
|
B
)
,定义为
P(A|B)=P(AB)/P(B)
P
(
A
|
B
)
=
P
(
A
B
)
/
P
(
B
)
当
P(B)=0
P
(
B
)
=
0
时,该公式无意义,在高等概率论中也要考虑
P(A|B)
P
(
A
|
B
)
当
P(B)=0
P
(
B
)
=
0
时的定义问题。
1.3.7 事件的独立性,概率乘法定理
设有两个事件
A
A
,,
A
A
的无条件概率与其在给定
B
B
发生之下的条件概率一般是有差别的,这反映了这两个事件之间存在这一些关联。例如,若
P(A|B)>P(A)
P
(
A
|
B
)
>
P
(
A
)
则
B
B
的发生使发生的可能性增大了,即
B
B
促进了的发生。
反之,若
P(A)=P(A|B)
P
(
A
)
=
P
(
A
|
B
)
,则
B
B
的发生与否对于的发生的可能性毫无影响,这时,在概率论上称
A
A
,两事件独立。有
P(AB)=P(A)P(B)
P
(
A
B
)
=
P
(
A
)
P
(
B
)
定义3.2 两个事件
A
A
,若满足上式,则称
A
A
,独立。
定理3.2 两独立事件
A
A
,的积
AB
A
B
的概率
P(AB)
P
(
A
B
)
等于其各自概率的积
P(A)P(B)
P
(
A
)
P
(
B
)
。
即概率的乘法定理,也就是独立性的定义。
定义3.3 设
A1
A
1
,
A2
A
2
,···为有限或无限个事件。如果从其中任意取出有限个
Ai1
A
i
1
,
Ai2
A
i
2
,···,
Aim
A
i
m
,都成立
P(Ai1Ai2⋅⋅⋅Aim)=P(Ai1)P(Ai2)⋅⋅⋅P(Aim)
P
(
A
i
1
A
i
2
·
·
·
A
i
m
)
=
P
(
A
i
1
)
P
(
A
i
2
)
·
·
·
P
(
A
i
m
)
则称事件
A1
A
1
,
A2
A
2
,···相互独立,简称独立。
这个定义与从条件概率出发的定义是等价的,后者是说,对任何互不相同的
i1
i
1
,
i2
i
2
,···,
im
i
m
,有
P(Ai1|Ai2⋅⋅⋅Aim)=P(Ai1)
P
(
A
i
1
|
A
i
2
·
·
·
A
i
m
)
=
P
(
A
i
1
)
即任何事件
Ai1
A
i
1
发生的可能性大小,不受其他事件发生的影响。
但是上式左边依赖于
P(Ai1|Ai2⋅⋅⋅Aim)>0
P
(
A
i
1
|
A
i
2
·
·
·
A
i
m
)
>
0
而定理3.3就没有这个问题。
由独立性定义易推出如下定理。
定理3.3 若干个独立事件
A1
A
1
,···,
An
A
n
之积的概率,等于个时间概率的乘积:
P(A1⋅⋅⋅An)=P(A1)⋅⋅⋅P(An)
P
(
A
1
·
·
·
A
n
)
=
P
(
A
1
)
·
·
·
P
(
A
n
)
系3.2 独立事件的任一部分也独立。
进一步可推广为:由独立事件决定的事件也独立。
系3.3 若一列事件
A1
A
1
,
A2
A
2
,···相互独立,则将其中任意部分改为其对立事件,所得事件列仍为相互独立。(可使用数学归纳法证明)
对于独立性,存在两两独立但是不相互独立的情况,详情见书P027以及后面的例题。
1.3.8 全概率公式与贝叶斯公式
- 全概率公式
设 B1 B 1 , B2 B 2 ,···为有限或无限个事件,它们两两互斥且在每次试验中至少发生一个,即
BiBj=∅(i≠j) B i B j = ∅ ( i ≠ j )
B1+B2+⋅⋅⋅=Ω B 1 + B 2 + · · · = Ω
把具有这些性质的一组事件称为一个完备事件群,注意,任一事件B及其对立事件组成一个完备事件群。
现考虑任一事件 A A ,因为必然事件,有 A=AΩ=AB1+AB2+⋅⋅⋅ A = A Ω = A B 1 + A B 2 + · · · ,因 B1 B 1 , B2 B 2 ,···两两互斥,显然 AB1 A B 1 , AB2 A B 2 ,···也两两互斥,故有
P(A)=P(AB1)+P(AB2)+⋅⋅⋅ P ( A ) = P ( A B 1 ) + P ( A B 2 ) + · · ·
再有条件概率的定义,有 P(ABi)=P(Bi)P(A|Bi) P ( A B i ) = P ( B i ) P ( A | B i ) ,故有全概率公式
P(A)=P(B1)P(A|B1)+P(B2)P(A|B2)+⋅⋅⋅ P ( A ) = P ( B 1 ) P ( A | B 1 ) + P ( B 2 ) P ( A | B 2 ) + · · ·
在复杂条件下直接算 P(A) P ( A ) 不易,但 A A 总是随着某个伴出,适当去构造这样一组 Bi B i 往往可以简化计算。
或者可以从另一个角度去理解,把 Bi B i 看做导致事件 A A 发生的一种可能途径,对不同途径,发生的概率即条件概率 P(A|B) P ( A | B ) 各不相同。而采取哪个途径却是随机的。这种机制下, A A 的综合概率应该是诸 P(A|Bi)(i=1,2,⋅⋅⋅) P ( A | B i ) ( i = 1 , 2 , · · · ) 以 P(Bi)(i=1,2,⋅⋅⋅) P ( B i ) ( i = 1 , 2 , · · · ) 为权的加权平均。
详情见书P032 - 贝叶斯公式
在全概率公式的假定下,有
P(Bi|A)=P(ABi)/P(A)=P(Bi)P(A|Bi)/∑jP(Bj)P(A|Bj) P ( B i | A ) = P ( A B i ) / P ( A ) = P ( B i ) P ( A | B i ) / ∑ j P ( B j ) P ( A | B j )
该公式之所以著名,在于其现实乃至哲理意义的解释上:先看 P(B1) P ( B 1 ) , P(B2) P ( B 2 ) ,···,它是在没有进一步的信息(不知 A A 是否发生)的情况下,人们对诸事件, B2 B 2 ,···发生的可能性大小的认识,现在有了新的信息(知道 A A 发生),人们对, B2 B 2 ,···发生的可能性大小有了新的估价。
如果我们把事件 A A 看成结果,把诸事件, P(B2) P ( B 2 ) ,···看成导致这个结果的可能的原因,则可以形象的把全概率公式看作由原因推结果,而贝叶斯公式则恰好相反,其作用在于由结果推原因,现在有一个结果 A A 已经发生了,在众多可能的原因中,到底哪一个导致了这个结果。贝叶斯公式说,各原因可能性大小与成比例。其后例题也有说明,详见书P033