一.事件概率
1.事件
事件是指在某个试验或观察中可能发生的结果或结果的集合。是样本空间的一个子集,可以包含一个或多个样本点,也可以是整个样本空间。事件用大写字母,如 A,B,C 等表示。
例子
事件A={1,2,3}
1.1 概念
1.1 基本事件
基本事件是指试验中不可再分的最简单的事件。每个基本事件代表一个单一的可能结果。
例子:
-
抛一枚硬币:基本事件是“正面”和“反面”。
-
掷一个六面骰子:基本事件是“1点”、“2点”、“3点”、“4点”、“5点”和“6点”。
1.2 复合事件
复合事件是由多个基本事件组合而成的事件。复合事件代表多个可能结果的集合。
例子:
-
抛两枚硬币:复合事件可以是“至少一个正面”,这个事件包含“正面-正面”、“正面-反面”和“反面-正面”三个基本事件。
-
掷一个六面骰子:复合事件可以是“点数大于3”,这个事件包含“4点”、“5点”和“6点”三个基本事件。
1.3 必然事件
必然事件是指在试验中一定会发生的事件。必然事件的概率为1。在样本空间中,必然事件包括了样本空间中的所有样本点。
例子:
-
掷一个六面骰子:“点数在1到6之间”是一个必然事件。
1.4 不可能事件
不可能事件是指在试验中绝对不会发生的事件。不可能事件的概率为0。通常用∅表示。
例子:
-
掷一个六面骰子:“点数大于6”是一个不可能事件。
1.5 样本空间
样本空间是指试验中所有可能结果的集合。样本空间通常用大写字母 Ω 表示。
例子:
-
抛一枚硬币:样本空间 Ω={正面,反面}。
-
掷一个六面骰子:样本空间 Ω={1,2,3,4,5,6}。
1.6 样本点
样本点是指样本空间中的每一个元素,即每一个可能的结果。样本点通常用小写字母ω表示。
例子:
-
抛一枚硬币:样本点是“正面”和“反面”。
-
掷一个六面骰子:样本点是“1点”、“2点”、“3点”、“4点”、“5点”和“6点”。
注:必然事件和样本空间可以被视为等价的,但理论上它们是不同的概念。必然事件是事件的一个实例,而样本空间是定义这些事件的基础集合。
1.2 事件间的关系
1.2.1 包含关系
包含关系是指一个事件是另一个事件的子集。如果事件 A 包含在事件 B 中,那么 A 发生时,B 必然发生,即:A⊆B
1.2.2 并集
并事件是指两个或多个事件中至少有一个事件发生的情况。事件 A 和事件 B 的并事件记作 A∪B或A+B,表示 A 或 B 发生。
1.2.3 交集
交事件是指两个或多个事件同时发生的情况。事件A 和事件 B 的交事件记作 A∩B或AB,表示 A 和 B 同时发生。
1.2.4 差集
如果事件 A 发生而事件 B 不发生,则表示这些事件的差集发生了。即将事件A中的A和B的公共部分去掉。事件 A 和 B 的差集表示为 A−B
1.2.5 互斥事件
互斥事件是指两个事件不能同时发生。如果事件A 和事件 B 是互斥事件,那么 A 和 B 的交集为空集,即:AB=∅
例子:
-
抛一枚硬币:事件“正面”和事件“反面”是互斥事件。
-
掷一个六面骰子:事件“点数为1”和事件“点数为2”是互斥事件。
1.2.6 对立事件
对立事件是指两个事件互为对立,即一个事件发生时,另一个事件必然不发生。如果事件 A 和事件 B 是对立事件,那么 A 和 B 的并集是样本空间,且 A 和 B 的交集为空集,即:
A+B=Ω且AB=∅ 通常,事件 A 的对立事件记作
例子:
-
抛一枚硬币:事件“正面”和事件“反面”是对立事件。
-
掷一个六面骰子:事件“点数为1”和事件“点数不为1”是对立事件。
互斥和对立事件的区别:
1.两个事件对立,则一定是互斥事件
2.互斥事件适用于多个事件,对立适用于两个事件
3.互斥事件,A和B不能同时发生,也可以都不发生;对立事件有且只有一个发生。
1.2.7 完备事件组
是一组事件,它们满足以下两个条件:
-
互斥性:完备事件组中的任意两个事件不能同时发生。也就是说,这些事件两两互斥。
-
完备性:完备事件组中的事件涵盖了样本空间中所有可能的结果,并且至少有一个事件必然发生。换句话说,这些事件的并集是整个样本空间,且它们的并集是必然事件。
用数学术语来说,如果有一个样本空间 Ω 和一个事件集合 {A1,A2,...,An},那么这个事件集合是完备的,如果:
-
对于所有的 i≠j,有
(互斥性)。
-
(完备性)。
例子:
假设我们掷一个公平的六面骰子,样本空间是 Ω={1,2,3,4,5,6}。
-
{1,2,3,4,5,6}是一个完备事件组。
-
这些事件两两互斥,并且它们的并集包含了所有可能的结果,即整个样本空间。
1.3 运算律
1.3.1 交换律
交换律是指事件的并集和交集运算满足交换性,即运算的顺序不影响结果。
-
并集的交换律:
A∪B=B∪A
-
交集的交换律:
A∩B=B∩A
1.3.2 结合律
结合律是指事件的并集和交集运算满足结合性,即多个事件的运算顺序不影响结果。
-
并集的结合律:
(A∪B)∪C=A∪(B∪C)
-
交集的结合律:
(A∩B)∩C=A∩(B∩C)
1.3.3 分配律
分配律是指事件的并集和交集运算满足分配性,即一个运算对另一个运算的分配关系。
-
并集对交集的分配律:
A∪(B∩C)=(A∪B)∩(A∪C)
-
交集对并集的分配律:
A∩(B∪C)=(A∩B)∪(A∩C)
1.4.4 对偶律
对偶律是指事件的补集运算的对偶关系,即并集的补集和交集的补集之间的关系。
-
第一对偶律:
-
第二对偶律:
2.概率
2.1 定义
对于一个事件 A,其概率 P(A) 定义为:
2.2 古典模型
古典概率模型,也称为古典模型或等可能模型,是一种概率论中用于计算随机事件发生概率的方法。它基于以下假设:
-
有限性:样本空间是有限的,即所有可能的结果可以被列举出来。
-
等可能性:样本空间中的每个基本事件(样本点)出现的可能性是相等的。
在古典模型中,一个事件的概率可以通过以下公式计算:
古典模型的步骤:
-
确定样本空间:列出随机试验所有可能的结果。
-
计数:计算样本空间中基本事件的总数。
-
识别事件:确定事件 A 包含的基本事件数。
-
计算概率:使用上述公式计算事件 A 的概率。
2.3 排列(不重复排列)
排列的定义
给定一个包含 n 个元素的集合,从中选择 r 个不同元素(r≤n)进行排列,意味着这 r 个元素的顺序是重要的。
排列的符号
排列通常用 P(n,r)表示,读作“n 个中取 r个的排列数”。
排列的公式
排列数的计算公式是:
其中 n!(n的阶乘)表示从 n 到 1 的所有正整数的乘积,即
排列的计算
-
如果 r=n,即从 n 个元素中选择 n 个元素进行全排列,排列数为 n!。
-
如果 r=0,即从 n 个元素中选择 0 个元素进行排列,排列数为 1,因为空集的排列只有一种。
-
如果 r>n,排列数为 0,因为不可能从 n 个元素中选择超过 n 个元素。
2.4 组合
组合的定义
给定一个包含 n 个元素的集合,从中选择 r 个不同元素(r≤n)进行组合,意味着这 r 个元素的顺序并不重要。
组合的符号
组合通常用
表示,读作“n 选 r”或“二项式系数”。
组合的公式
组合数的计算公式是:
组合的性质
-
对称性:C(n,r)=C(n,n−r)
-
边界条件:C(n,0)=C(n,n)=1
-
当 r>n 时,C(n,r)=0
2.5 几何概型
几何概型是概率论中的一个基本概念,它用于处理那些结果可以被表示为几何区域(如线段、平面区域、立体区域等)的随机试验的概率问题。几何概型的基本思想是将概率问题转化为几何区域上的面积、体积或长度等几何量的比值。
几何概型的计算:
几何概型的概率可以通过以下步骤计算:
-
确定样本空间:首先确定样本空间的几何区域,比如长度、面积或体积。
-
度量样本空间:计算样本空间的度量,比如长度、面积或体积。
-
确定事件区域:确定事件对应的几何区域,并计算其度量。
-
计算概率:事件的概率等于事件区域的度量除以样本空间的度量。
几何概型的公式:
如果事件 A 对应的几何区域的度量为 m(A),样本空间 Ω 的度量为 m(Ω),则 A 的概率 P(A)为:
2.6 频率
-
定义:频率是一个经验概念,它通过实际观察或实验来确定。频率是某个事件在一系列重复实验中发生的次数与总实验次数之比。
-
性质:频率的值可以是任何非负实数,包括0(事件一次也没发生)和任意正数(事件多次发生)。
-
计算:频率是通过实际计数得到的,例如,如果一个事件发生了 m 次,在 n次独立的重复实验中,其频率为 mn。
-
不确定性:频率是随机的,它随着实验次数的增加而波动,但根据大数定律,当实验次数足够多时,频率会趋近于概率。
概率与频率的关系
-
大数定律:随着实验次数的增加,事件发生的频率趋近于其概率。
-
长期稳定性:在大量重复实验中,频率的稳定性可以作为概率的一个估计。
-
经验估计:在没有理论模型的情况下,可以通过频率来估计概率。
2.7 基本性质(公理化)
-
非负性:对于任意事件 A,有 P(A)≥0。
-
规范性:必然事件的概率为1,即 P(Ω)=1。
-
可加性:对于互斥事件 A 和 B,有 P(A+B)=P(A)+P(B)。
性质1:P(∅)=0
性质2:
性质3:
性质4:P(A+B)=P(A)+P(B)-P(AB)
证明:
A+B=A+(B-AB),可根据图形理解。
P(A+B)=P(A+(B-AB))=P(A)+P(B)-P(AB)
注意:性质4是可加性的一般性描述,如果A和B互斥那么AB为空集,则P(AB)=0
另外性质4还适用于多个事件相加:
如果A、B、C是互斥事件:则P(AB)=P(AC)=P(BC)=P(ABC)=0
所以:
2.8 条件概率
条件概率用于描述在已知某一事件发生的情况下,另一事件发生的概率。条件概率通常表示为 P(A∣B),读作“在事件 B 发生的条件下,事件 A 发生的概率”。
定义
设Ω为样本空间, A和 B 是两个事件,且 P(B)>0。事件 A 在事件 B 发生的条件下的条件概率 P(A∣B) 定义为:
说明:
P(A):无条件概率,样本空间为Ω
P(A|B):条件概率,样本空间不再是Ω,而是B或者
所以条件概率定义公式中P(B)为B事件发生的总事件数概率,P(A∩B)是在B发生的条件下A发生的事件概率,即A和B共同发生的事件概率
基本性质
-
非负性:对于任意事件 A和B,有 P(A|B)≥0。
-
规范性: P(Ω|B)=1。
-
可加性:对于互斥事件
$$
A_1、A_2、...、A_n,有 P(A_1+A_2+...+A_n|B)=P(A_1|B)+P(A_2|B)+...+P(A_n|B)
$$
乘法公式
条件概率的乘法公式是:
这个公式说明了事件 A 和事件 B 同时发生的概率等于事件 B 发生的概率乘以在 B 发生的条件下 A 发生的概率。
说明:以上公式可以理解为分几步走,第一步B发生的概率,第二步在B发生的前提下A发生的概率。
补充:如果有A、B、C事件
按照分几步走的逻辑:第一步A发生的概率,第二步在A发生的前提下B的概率,第三步在AB发生的前提下C的概率,相当于每一步都要以前一步作为发生条件。
2.9 全概率公式
假设事件 A1,A2,...,An 是样本空间 Ω 的一个完备事件组,即这些事件两两互斥,并且它们的并集是整个样本空间。如果我们想计算事件 B 的概率,可以使用全概率公式:
计算某一事件的总概率,通过将其分解为多个互斥事件的条件概率之和。
2.10 贝叶斯公式
贝叶斯公式描述了在已知其他条件概率的情况下,一个条件概率的计算方法。贝叶斯公式是逆概率理论的核心,它允许我们根据已知的某些概率来更新我们对另一个概率的信念。
例如:感冒、肺炎、白血病的症状都是发烧,在已知病人发烧的情况下,来推理病人发病的原因。可以把感冒、肺炎、白血病理解为原因,发烧是导致的结果,由已知结果推理原因的方法就是贝叶斯公式的核心理论。
定义
如果事件 B1,B2,...,Bn是样本空间 Ω 的一个完备事件组,即这些事件两两互斥且它们的并集是整个样本空间,那么对于任意事件 A,贝叶斯公式可以表示为:
其中:
-
P(Bi∣A) 是在事件 A 发生的条件下事件 Bi发生的条件概率(后验概率)。
-
P(A∣Bi)是在事件 Bi发生的条件下事件 A 发生的条件概率(似然度)。
-
P(Bi)是事件 Bi发生的边缘概率(先验概率)。
-
P(A)是事件 A 发生的边缘概率(先验概率),可以通过全概率公式计算得出:
说明:事件A理解为结果,在已知事件A的条件下,事件Bi发生的概率即为贝叶斯公式。
2.11 事件独立性
如果两个事件是独立的,那么一个事件的发生不会影响另一个事件发生的概率。
条件概率与独立性
如果事件 A 和事件 B 是独立的,那么事件 A 在事件 B 发生的条件下的条件概率 P(A∣B)等于事件 A 的先验概率 P(A):
P(A∣B)=P(A)
同样地,事件 B 在事件 A 发生的条件下的条件概率 P(B∣A)等于事件 B 的先验概率 P(B):
P(B∣A)=P(B)
由条件概率公式可知:
定义
设 A和 B 是两个事件。如果满足以下条件,则称事件 A 和事件 B 是独立的:
其中:
-
P(AB)是事件 A 和事件 B 同时发生的概率(联合概率)。
-
P(A)是事件 A 发生的概率。
-
P(B) 是事件 B 发生的概率。
独立性的性质
-
对称性:如果 A 和 B 独立,那么 B 和 A 也独立。
-
传递性:如果 A 与 B 独立,且 B 与 C 独立,那么 A 与 C 独立(仅当这些事件的联合概率分布是乘性的)。
-
零概率事件:任何事件与零概率事件(P(A)=0)总是独立的。
-
对立事件:如果 A 与 B 独立,那么 A 与其对立事件
也独立。
定理
1.P(A)>0,P(B)>0,A、B独立的充分必要条件是P(AB)=P(A)⋅P(B)
2.P(A)>0,P(B)>0,互不相容和独立不会同时出现。
证明:
如果A、B互不相容则P(AB)=0,而P(A)P(B)>0,所以A、B不独立
如果A、B独立则P(AB)=P(A)P(B)>0,所以P(AB)>0,从而A、B步互不相容。
2.11 伯努利模型
伯努利模型是一种基础的概率模型,它描述了一个随机试验只有两种可能结果的情况:成功或失败。在伯努利模型中,每次试验只有两个
可能的结果,通常称为成功和失败。这些结果用事件S和事件F来表示,其中S表示成功,F表示失败。伯努利模型的关键特点是每次试验的
结果是相互独立的,即前一次试验的结果不会影响后一次试验的结果,每次试验中成功的概率为p,失败的概率为1-p,并且这些概率对于
每次试验都保持不变。
伯努利模型在概率论、统计学和随机过程等领域中都有重要的应用。例如,在统计学中,可以使用伯努利模型来建立二元数据的模型,比
如用户是否购买产品、是否点击广告等。在风险分析中,伯努利模型可以用来描述某种事件的发生与否,比如是否发生事故、是否发生自
然灾害等。在金融数学中,伯努利模型可以用来模拟股票价格的上涨和下跌情况。
前置概念
-
伯努利试验:
-
伯努利试验是一种特殊类型的随机试验,其结果只有两种可能:成功或失败。
-
伯努利试验的结果是二元的,通常用1表示成功,用0表示失败。
-
-
n重伯努利试验:
-
n重伯努利试验是指伯努利试验重复进行n次,每次试验都是独立的。
-
在n重伯努利试验中,每次试验的成功概率相同,通常用p表示,失败概率为1-p。
-
定义
设试验成功的概率为 p(0<p<1),失败的概率为 1−p,如果在n重伯努利实验中,成功k次的概率参数为 p 的伯努利分布。
伯努利分布的概率质量函数(PMF)为:
其中,k 是成功的次数,
是组合数,表示从n次试验中选择k次成功的不同方式。
上述公式也叫做二项概率公式。
该公式可以用于二项式的展开公式,如:
如果用二项概率公式展开:
二.随机变量及其分布
1.定义
随机变量是一个从样本空间(所有可能结果的集合)到实数集的函数。样本空间中的每个结果都对应于随机变量的一个值。随机变量的值可以是离散的,也可以是连续的。随机变量通常用大写字母表示,如 X、Y 或 Z。
随机变量和事件的联系
定义事件:
事件可以定义为随机变量取特定值的集合。一般用{X=?}表示。
例如,如果随机变量 X 表示掷骰子的结果,那么事件 "掷得奇数" 可以表示为 {X=1} 或 {X=3}或 {X=5}。
使用随机变量描述事件:
随机变量的值可以定义复杂的事件。
例如,事件 "掷骰子的结果大于4" 可以表示为 {X>4},其中 X 是随机变量。
例如,掷硬币的结果为正面、反面,在数学中不方便描述,可以将正面映射为数字1,反面映射为0,那么事件"掷出正面"可以表示为{X=1},事件"掷出反面"可以表示为{X=0}。
概率分布:
随机变量的概率分布描述了它取每个可能值的概率。这个分布可以用来计算事件的概率。在随机变量表示的事件前加上P来表示:P{X=?}或者P(X=?)。
例如,随机变量 X 的概率质量函数(PMF)或概率密度函数(PDF)可以用来计算 P(X=k) 或 P(a<X<b)。
2.离散型随机变量及其概率分布
离散型随机变量的特点:
-
可数性:随机变量的取值是可数的,即有限个或可数无限个。
-
离散性:取值之间有“间隔”,不是连续变化的。
-
概率分布:每个取值都有一个特定的概率,且所有取值的概率之和等于1。
离散型随机变量的概率分布:
离散型随机变量的概率分布通常由概率质量函数(Probability Mass Function, PMF)描述。PMF 定义了随机变量每个可能取值的概率。
概率质量函数(PMF):
对于离散型随机变量 X,其概率质量函数为
,其中 x* 是 X 可能取的值。PMF 满足以下条件:
-
非负性:对于所有的 x,有 P(X=x)≥0。
-
归一性:所有可能取值的概率之和等于1,即