概率公理及其基础

先引入σ-代数 的概念。
在数学中，某个集合X上的σ代数又叫σ域，是X的所有子集的集合（也就是幂集）的一个子集。这个子集满足对于差集运算和可数个并集运算的封闭性（因此对于可数个交集运算也是封闭的）。
σ代数在测度论里可以用来严格地定义所谓的“可测集合”，是测度论的基本概念之一。

概率公理是概率论的公理，任何事件发生的概率的定义域均满足概率公理，也被人们熟知为柯尔莫果洛夫公理（Kolmogorov axioms）。

某个事件E的概率 P(E) 是定义在“全体”（universe）或者所有可能基础事件的样本空间 Ω 时，概率 P 必须满足以下柯尔莫果洛夫公理。
也可以说，概率可以被解释为定义在样本空间的子集的 σ 代数上的一个测度，那些子集为事件，使得所有集的测度为1.。这个性质很重要，因为这里提出条件概率的自然概念，对于每一个非零概率 A 都可以在空间上定义另外一个概率：

这通常被读作：给定A时B的概率
如果给定A时B的条件概率与B的概率相同，则A与B被称为是独立的。

柯尔莫果洛夫公理
假设我们有一个基础集 Ω，其子集 ξ 的集合为 σ 代数，和一个给 ξ 的元素指定一个实数的函数 P。ξ 的元素是 Ω 的子集，称为“事件”。

第一公理（非负性）
对于任意一个集合 A ∈ ξ，即对于任意的事件 P(A)≥0.
即，任一事件的概率都可以用0到1区间上的一个实数来表示。

第二公理（归一化）
P(Ω)=1
即，整体样本集合中的某个基本事件发生的概率为1。更加明确地说，在样本集合之外已经不存在基本事件了。
这在一些错误的概率计算中经常被小看；如果你不能准确地定义整个样本集合，那么任意子集的概率也不可能被定义。

第三公理（可加性）
任意两两不相交事件 E₁, E₂,…的可数序列满足

即，不相交子集的并的事件集合的概率为那些子集的概率的和。这也被称为是 σ可加性。如果存在子集间的重叠，这一关系不成立。

PS：这部分内容应该非原创，是从自己的笔记里挪出来的，之后找到出处再附上。

我们都知道对正态分布而言，其中约99.7%的点落在距均值三个标准差的范围内。那么如果数据不是正态分布呢，此时可用切比雪夫不等式说明：

对任何概率分布，结果超过平均值k个标准差的概率不超过 $\frac{1}{k^2}$。

对任何单峰概率分布，结果超过平均值k个标准差的概率不超过 $\frac{4}{9k^2}$

故即使数据不是正态分布，在均值附近不超过3倍标准偏差的概率也可达88.9%。