概率 (Probability)
在关于频率
这一概念的解释中,一个被广泛接受的解释是频率解释(frequency interpretation)
:
在长期观测过程中,一个
事件(event)
发生或出现的比例
样本空间 (Sample Space)
在统计学中,观察与测量的过程被称为经验(experiment)
,其中包含一系列或复杂或简单的决策过程。我们从经验中可以获取到各种数据被称为结果(outcomes)
。所有可能结果的集合被称为样本空间
。样本空间中的每个结果在被称为样本点
。
如果样本空间 S S S 中的元素是有限的,则我们可以使用枚举法来表示:
S = { e 1 , e 2 , ⋯   , e n } S = \{e_1,e_2,\cdots,e_n\} S={ e1,e2,⋯,en}
如果元素是无限的,则我们可以使用规则来描述:
S = { x ∣ x ∈ R } S = \{x | x \in R\} S={ x∣x∈R}
可以按照样本空间中的元素数量来对其进行分类:
离散型
:包含有限个元素,或者包含无限个可数(countable)元素
连续型
:包含无限个不可数元素
事件 (Event)
在许多问题中,我们感兴趣的结果并不能从样本空间中的某个特定元素直接获得。
我们可以将关注点描述为某个事件,事件
可以定义为一个样本空间中的元素子集,包含了对应该事件发生所有元素。
对于离散型样本来说,所有子集都可以看作事件。但是对于连续性样本来说,为了能够进行有效的数值运算,必须将一些无关的点集排除。
在许多概率问题中,我们感兴趣的事件实际上是多个事件的并集(union)
、交集(intersection)
或补集(complement)
。
假设 (Postulate)
为了能够赋予概率实际意义,我们需要作出一些假设。
- 概率总是非负的
- 必然事件的概率为1
- 互斥事件的概率可以相加
如果事件 A 处于一个离散空间,则该事件概率是所有构成该事件的元素的概率之和。因为离散空间中的元素都是互斥的。
对于包含 N 个元素的离散样本空间 S,其每个元素 对应的概率为 1 N \frac{1}{N} N1。
如果事件 A 由 n 个元素组成,则其对应个概率为 ∑ n 1 N = n N \sum_{n}{\frac{1}{N}} = \frac{n}{N} ∑nN1=Nn
定律 (Rule)
基于之前给出的三个假设,可以推导出许多具有重要应用价值的定律。
如果 A 与 A’ 是两个互补事件,则有:
P ( A ′ ) = 1 − P ( A ) P(A') = 1 - P(A) P(A′)=1−P(A)
不可能事件的概率为0:
P ( ∅ ) = 0 P(\emptyset) = 0 P(∅)=0
有 A 与 B 两个事件:
1. 如果 A ⊂ B A \subset B A⊂B 则有 P ( A ) ≤ P ( B ) P(A) \leq P(B) P(A)≤P(B)
2. P ( A ∪ B ) = P ( A ) + P ( B ) − P ( A ∩ B ) P(A \cup B) = P(A) + P(B) - P(A \cap B) P(A∪B)=P(A)+P(B)−P(A∩B)
条件概率 (Conditional Probability)
脱离一个特定的样本空间,概率将会变得难以描述。
为了明确地表明事件与样本空间的关联,我们使用条件概率
来进行表示:
事件 A 在样本空间 S 中的概率为 P ( A ∣ S ) P(A|S) P(A∣S)
事件 A 在给定 S 的条件下的概率
A,B两个事件属于同一个样本空间:
在事件 A 发生的情况下,B 事件发生的概率为 P ( B ∣ A ) = P ( A ∩ B ) P ( A ) P(B|A) = \frac{P(A\cap B)}{P(A)} P(B∣A)=P(A)P(A∩B)
两边同时乘以 P ( A ) P(A) P(A),可得到 P ( A ∩ B ) = P ( A ) ⋅ P ( B ∣ A ) P(A\cap B) = P(A)\cdot P(B|A) P(A∩B)=P(A)⋅P(B∣A)
A,B,C 三个事件属于同一个样本空间:
P ( A ∩ B ∩ C ) = P ( A ∩ B ) ⋅ P ( C ∣ A ∩ B ) = P ( A ) ⋅ P ( B ∣ A ) ⋅ P ( C ∣ A ∩ B ) P(A\cap B\cap C) \\ = P(A\cap B)\cdot P(C|A\cap B) \\ = P(A)\cdot P(B|A)\cdot P(C|A\cap B) P(A∩B∩C)=P(A∩B)⋅P(C∣A∩B