生命在于学习——Python人工智能原理（3.1.1）

Python部分结束了，开始概率论部分

一、概率基本知识

1.1 事件与概率

1.1.1 事件的运算与关系

（一）基本概念

定义1 随机试验
如果一个试验满足如下条件：

• 在试验前不能断定其将发生什么结果，但可明确指出或说明试验的全部可能结果是什么。
• 在相同的条件下试验可大量的重复。
• 重复试验的结果是以随机方式或偶然方式出现。
  这样的试验称为随机试验，简称试验，一般用字母E表示。

定义2 样本空间
人们把随机试验E的所有可能结果组成的集合称为E的样本空间，记为S。
样本空间的元素即E的每个结果称为样本点（或基本事件）。
定义3 随机事件
在一次试验中可能发生也可能不发生，在大量重复试验中具有某种规律性的试验结果，称为随机事件，简称事件。
事件可理解为样本空间的一个子集。

（二）事件的关系

• 包含关系
  设A，B为两个随机事件，若事件A发生时事件B一定发生，则称A包含于B，写为A ⊂ B，
  若A ⊂ B且B ⊂ A，则称为相等关系，记为A=B。
• 互斥（不相容）关系
  设A，B为两个随机事件，若事件A与B不能同时发生，即AB= ∅，称事件A,B不相容或互斥。
• 对立关系
  设A，B为两个随机事件，若事件A，B不能同时发生且至少有一个发生，即A ∪ B = Ω，且AB= ∅，称事件A，B为对立事件，记作B = A̅。

（三）事件的运算

• 事件的积
  设A，B为两个随机事件，则事件A，B同时发生的事件，称为事件A，B的积事件，记为AB或A ∩ B。
• 事件的和
  设A，B为两个随机事件，则事件A或事件B发生的事件（或事件A，B至少有一个发生的事件），称为事件A，B的和事件，记为A+B或A ∪ B 。
• 事件的差
  设A，B为两个随机事件，则事件A发生而事件B不发生的事件，称为事件A，B的差事件，记为A-B。
• 事件的补
  设S为样本空间，A为随机事件，则事件A不发生的事件称为事件A的补事件，记为A̅。

（四）事件运算的性质

• 交换律：A ∩ B = B ∩ A，A ∪ B = B ∪ A
• 结合律：(A ∩ B) ∩ C = A ∩ (B ∩ C)，(A ∪ B) ∪ C = A ∪ (B ∪ C)
• 分配律：A ∩ (B ∪ C) = (A ∩ B) ∪ (A ∩ C)，A ∪ (B ∩ C) = (A ∪ B) ∩ (A ∪ C)
• 摩根律：(A ∩ B)̅ = A̅ ∪ B̅，(A ∪ B)̅ = A̅ ∩ B̅
• 吸收律：A ∪ (A ∩ B) = A，A ∩ (A ∪ B) = A

1.1.2 概率的定义与性质

（一）基本概念

定义4 随机现象
随机现象有两个特点：事先不能确定哪一个结果会出现。各种结果在多次重复过程中可能会体现某种规律。
定义5 概率
人们使用一个数值来度量随机现象中某一结果出现可能性的大小，这个数值就被称为概率，概率的取值在0到1之间。
定义6 频次、频数
假设在相同条件下，进行了n次试验，在这n次试验中，人们把事件A发生的次数称为事件A发生的频数，A发生的次数与试验次数的比值称为事件A发生的频率。
当试验次数增加时，随机事件A发生的频率趋于一个稳定值，记为p，p就称为该事件发生的概率，记为P(A)=p，它满足如下三个条件：

• 非负性
• 规范性
• 可列可加性

（二）概率的性质

1. 非负性：对任意事件 A，有 0 ≤ P(A) ≤ 1
2. 确定性：必然事件的概率为 1，即 P(Ω) = 1
3. 互斥性：对互斥事件 A 和 B，有 P(A ∪ B) = P(A) + P(B)
4. 对立性：对事件 A，有 P(A) + P(A̅) = 1
5. 加法法则：对任意事件 A 和 B，有 P(A ∪ B) = P(A) + P(B) - P(A ∩ B)

1.2 概率基本概念

（一）基本概念

定义1 概率分布
概率分布是指随机变量可能取值的所有情况及其对应的概率。在离散情况下，概率分布可以用概率质量函数（Probability Mass Function，PMF）来描述；在连续情况下，概率分布可以用概率密度函数（Probability Density Function，PDF）来描述。
定义2 联合概率
联合概率是指两个或多个事件同时发生的概率。对于两个事件 A 和 B，联合概率可以表示为 P(A ∩ B)，即事件 A 和事件 B 同时发生的概率。

（1）二维离散型随机变量的联合分布

二维离散型随机变量的联合分布是指描述两个离散型随机变量同时取不同取值时的概率分布情况。假设有两个离散型随机变量 X 和 Y，它们可以取不同的取值组合，比如 (x1, y1), (x1, y2), (x2, y1), 等等。联合分布描述了每种取值组合发生的概率。

（2）二维连续型随机变量的联合分布

二维连续型随机变量的联合分布是指描述两个连续型随机变量同时取不同取值时的概率分布情况。假设有两个连续型随机变量 X 和 Y，它们可以取连续的取值范围，联合分布描述了在这个取值范围内任意区域内发生事件的概率。

定义3 边缘概率
边缘概率是指在多维随机变量的联合分布中，对其中一个或几个随机变量进行求和或积分后得到的概率分布。具体来说，对于二维随机变量 (X, Y) 的联合分布，边缘概率就是将联合概率质量函数（对于离散型随机变量）或联合概率密度函数（对于连续型随机变量）中的另一个随机变量积分或求和掉后得到的概率分布。

（1）二维离散型随机变量的边缘分布

对于二维离散型随机变量 (X, Y)，边缘分布是指在联合分布中对其中一个随机变量进行求和得到的概率分布。具体来说，对于离散型随机变量，边缘分布可以通过边缘概率质量函数（Marginal Probability Mass Function，MPMF）来描述。

边缘分布可以分为边缘概率质量函数 P(X = x) 和 P(Y = y)，分别表示随机变量 X 和 Y 单独取某个特定取值的概率。边缘分布的符号表示为：

P(X = x) = Σ P(X = x, Y = y) （对所有可能的 y 求和）
P(Y = y) = Σ P(X = x, Y = y) （对所有可能的 x 求和）

（2）二维连续型随机变量的边缘分布

对于二维连续型随机变量 (X, Y)，边缘分布是指在联合分布中对其中一个随机变量进行积分得到的概率密度函数。具体来说，对于连续型随机变量，边缘分布可以通过边缘概率密度函数（Marginal Probability Density Function，MPDF）来描述。

边缘分布可以分为边缘概率密度函数 f_X(x) 和 f_Y(y)，分别表示随机变量 X 和 Y 单独取某个特定取值的概率密度。边缘分布的符号表示为：

f_X(x) = ∫ f(x, y) dy （对所有可能的 y 进行积分）
f_Y(y) = ∫ f(x, y) dx （对所有可能的 x 进行积分）