一些概念
二项式系数
从一个大小为n的总体里选取r个元素,r个元素有r!种不同的排序方式,由此可得样本的个数是大小为r的子总体的r!倍,所以大小为r的子总体个数为:
(nr) = (n)rr! = n(n−1)...(n−r+1)1∗2∗3...∗(r−1)∗r=n!r!(n−r)!)
定义:一个包含n个元素的总体可以产生 (nr) 个不同的子总体。
概率论的基本概念
随机现象
在个别实验中结果呈不确定性,在大量重复实验其结果又具有统计规律性的现象,称之为随机现象
随机事件和样本空间
实验或观察的结果叫做事件。
事件分为复合(可分解)事件和简单(不可分解)事件
简单事件叫做样本点。
实验的每一个不可分解的结果可用一个且只能一个样本点来表示,所有这些样本点的全体称之为样本空间。
事件间的关系与事件的运算
A=0,表示A不包含任何样本点(即是不可能事件)
A’,样本空间中一切不属于事件A的点所构成的事件称为A的补事件。
AB,表示A和B同时发生,逻辑上的交集。
A∪B
,表示A或B发生,或两者同时发生,逻辑上的并集。
AB=0,表示A和B互斥。
A⊂B
,B包含A。
BA’,表示B发生而A不发生。
基本定义和规则
对于任何两个事件 A1 和 A2 :
P{A1∪A2}=P{A1}+P{A2}−P{A1A2}
如果
A1A2=0
,也就是说
A1,A2
互斥,则
P{A1∪>A2}=P{A1}+P{A2}
对于任意
A1,A2,...
P{ A1∪A2∪A3∪... } ≤ P{ A1 }+P{ A2 }+P{ A3 }+…
古典概率
设一个实验有N个等可能的结果,而事件E恰包含其中的M个结果,则事件E的概率,记为P(E),定义为:
P(E) = M/N
古典概率计算
排列组合的几个简单公式
n个相异物件取r个的不同排列总数,为
Pnr=n(n−1)(n−2)...(n−r+1)
n个相异物件取r个的不同组合总数,为
Cnr=Pnr/r!=n!/(r!(n−r)!)
Cnr 的一个更通用的记号是 (nr) 。
与二项式展开的关系
(a+b)n=∑ni=0(nr)aibn−i (证明见百度百科)
n个相异物件分成k堆,各堆物件数分别为 r1,r2...,rk 的分法是
n!/(r1r2...rk)
概率计算公式
若干个互斥事件之和的概率,等于各事件的概率之和。
P(A1+A2+...)=P(A1)+P(A2)+...
以 A¯¯¯ 表示A的对立事件,则
P( A¯¯¯ ) = 1- P(A)
积和差
A -B=A B¯¯¯
A(B-C) = AB -AC
条件概率
命H是一个具有正概率的事件,对于任何事件A:
P(A|H) = P(AH)P(H)
P(AH) = P(A|H)*P(H)
P(ABC) = P(A|BC) * P(B|C) * P(C)
先验概率与后验概率
先验概率
先验概率是指根据以往经验和分析得到的概率
先验概率的分类
- 利用过去历史资料计算得到的先验概率,称为客观先验概率;
- 当历史资料无从取得或资料不完全时,凭人们的主观经验来判断而得到的先验概率,称为主观先验概率。
后验概率
后验概率是指通过调查或其它方式获取新的附加信息,利用贝叶斯公式对先验概率进行修正,而后得到的概率。
先验概率与后验概率的实质区别
先验概率不是根据有关自然状态的全部资料测定的,而只是利用现有的材料(主要是历史资料)计算的;后验概率使用了有关自然状态更加全面的资料,既有先验概率资料,也有补充资料;
示例:
在“抛硬币”试验当中,硬币的均匀分布和抛的公正是先验条件或先验概率,但是抛100次正面却是条件概率,当贝努利试验次数不够大的时候,它不具有记忆功能,次数足够大的时候,具有记忆功能。这时,连续抛很多次正面就可以算作是先验概率。
随机独立性
抛硬币一次,结果为正面或者反面这两个事件是互斥的
抛一个硬币两次,第一次为正的概率和第二次为正的概率是独立的
两个事件互相独立(两两独立)
意思是A事件发生或者不发生对B事件的发生概率不影响(注意:只要不影响概率就行,影响样本空间没有问题),定义式是P(AB)=P(A)P(B),P(B|A)=P(B| A¯¯¯ )
互相独立
数学表述是P(ABC)=P(A)P(B)P(C)
两两独立 ⇐ 相互独立
相互独立则两两独立,反之不可以。
两两独立,所以P(AB)=P(A)P(B)。所以只要说明P(ABC) != P(AB)P(C) 也就是AB同时发生和C不独立就可以了。
举个例子:
盒子里有四个球:
球1:红绿两色
球2:红蓝两色
球3:蓝绿两色
球4:无色
现在从里面取出一个球:事件a为球带红色的,事件b为球带蓝色,c为带绿色
那么每个事件的概率都是1/2,任意两个事件同时发生的概率是1/4(即取出对应两个颜色的那个球),所以这三个事件两两独立,但是它们不可能同时发生,所以三个联合起来是不独立的 。
若一列事件 A1,A2... 相互独立,则将其中一部分改为对立事件时,所得时间列仍为相互独立。
全概率公式与贝叶斯公式
全概率公式
设
B1,B2,...
为有限或无限个事件,它们两两互斥且每次实验中至少发生一个,即:
BiBj=∅
(不可能事件),当
i≠j
B1+B2+...=Ω
(必然事件)
必然事件发生的概率为1,但概率为1的事件不一定为必然事件。比如:[0,1]取到[0,1)上概率为1,但是不是必然事件,因为可能取到1.
现考虑任一事件A,有
A=AΩ=AB1+AB2+...
P(A)=P(AB1)+P(AB2)+...
因为
P(ABi)=P(Bi)P(A|Bi)
,带入得:
P(A)=P(B1)P(A|B1)+P(B2)P(A|B2))+...
这个公式称为‘全概率公式’。
贝叶斯公式
在全概率公式的假定下,有
P(B|A)=P(AB)/P(A)=P(B)P(A|B)/ΣjP(Bj)P(A|Bj)
全概率公式为:由原因推结果
贝叶斯公式为:有结果推原因
乘积空间
两个集合A和B的组合乘积是一个集合,该集合由A,B中的远足的有序对(a,b)的全体所构成。
例如:扔3次硬币的理想实验,可以用含8个样本点的样本空间来描述。表示3个空间的组合乘积。
令A为
μ
中由点
a1,a2,....
构成的事件,类似地B是
β
中由
β1,β1,...
构成的事件,则:
P{(A,B)} =
ΣΣpxqy
=
(Σpx)(Σqy)
= P(A)P(B)
一维随机变量
概念
随机变量就是‘其值会随机会而定’的变量
确定性变量就是‘其值遵循某种严格的规律’的变量。
从绝对意义讲,许多通常视为确定性变量的量,本质上都有随机性,只是随机性干扰不大而已。
随机事件包含在随机变量之内。
随机事件是以静态的观点来研究随机现象,随机变量是一种动态的观点。
概率论能从一些孤立事件的概念发展成为一个更高的理论体系,其基础概念是随机变量。
分类
- 离散型随机变量 只能取有限个值,或者无限个可以无疑漏排列出来的值。
- 连续型随机变量 取值无穷多,并且无法逐一排列。
连续型随机变量只是数学上的抽象。任何量都有一定单位,都是离散的。
离散型随机变量的重要概念
概率函数
定义1. 设X为离散型随机变量,其全部可能值为
a1,a2...
,则
pi=P(X=ai),i=1,2,...
称为X的概率函数。
显然有
pi≥0,p1+p2+...=1
概率函数给出了全部概率1在其可能值之间的分布情况。
分布函数
定义2. 设X为一随机变量,则函数
P(X≤x)=F(x),−∞<x<∞
称为X的分布函数,这里X的取值可以为连续型。
F(x)=P(X≤x)=Σ|i;ai≤x|pi
{X≤i}={X≤i−1}+{X=i}
因为右边两事件互斥,所以:
F(x)=P(X≤x)=P(X≤x−1)+P(X=1)=F(x−1)+P(X=1)
pi=F(i)−F(i−1)
分布函数F(x)的一般性质:
1.单调非降
2. 当x ->
∞
时,F(x)-> 1,当x -> -
∞
时,F(x)-> 0
伯努利试验序列
在重复的独立试验中,如果每次试验仅有两个可能结果,而且其对应的概率在每次试验中都是相同的,则称这一串重复的独立试验时伯努利试验序列。
二项分布
另b(k;n,p)是具有成功概率为p,失败概率为q=1-p的n次伯努利试验中,有k次成功,n-k次失败的概率,则。
b(k;n,p) =
(nk)pkqn−k
未成功的概率是
qn
,至少有一次成功的概率是1-
qn
。
二项分布成立的2个重要条件:
1. 各实验的条件是稳定的
2. 各次实验室独立的
也就是要保证p的取值不变
中心项及尾项
当k由0变到n时,b(k;n,p)最初单调增加,而后单调下降,而且在k=m处达到它的最大值,但当m=(n+1)p时,b(m-1;n,p)=b(m;n,p)。我们称b(m;n,p)为中心项,m称为”成功的最大概然次数”。
波哇松分布
若随机变量X的可能取值为0,1,2…,且概率分布为
P(X=i)=e−λλi/i!
则称X服从波哇松分布,记为X ~
P(λ)
,
λ>0
,并且为一常数。
证明
设
λ
为事件出现的次数,则出现的概率
p=λn
,有
b(k;n,p) =
(ni)(λn)i(1−λn)n−i
当n->
∞
时,
(ni)/ni−>n(n−1)...(n−r+1)1∗2∗3...∗(i−1)∗r∗ni−>nir!ni−>1/i!
(1−λn)n−>e−λ
(因为lim(1+1/x)^x = e)
所以,有
b(k;n,p) =
e−λλi/i!
从推导可以看出,波哇松分布是求二项分布的极限而得到。
所以,博哇松分布的使用场景为:
当n很大,p很小,np= λ 不太大时,X的分布接近于波哇松分布。
使用波哇松分布可以将很难计算的二项分布转化为博哇松分布计算。