一、概率分布
离散型变量的概率分布可以用 概率质量函数(probability mass function, PMF) 来描述。我们通常用大写字母 P 来表示概率质量函数。通常每一个随机变量都会有 一个不同的概率质量函数,并且读者必须根据随机变量来推断所使用的 PMF,而不 是根据函数的名称来推断;例如,P(x) 通常和 P(y) 不一样。
概率质量函数将随机变量能够取得的每个状态映射到随机变量取得该状态的概 率。x = x 的概率用 P(x) 来表示,概率为 1 表示 x = x 是确定的,概率为 0 表示 x = x 是不可能发生的。有时为了使得PMF的使用不相互混淆,我们会明确写出随 机变量的名称:P (x = x)。有时我们会先定义一个随机变量,然后用 ∼ 符号来说明它遵循的分布:x ∼ P (x)。
概率质量函数可以同时作用于多个随机变量。这种多个变量的概率分布被称为联合概率分布(joint probability distribution)。P (x = x, y = y) 表示 x = x 和 y = y 同时发生的概率。我们也可以简写为 P (x, y)。
当我们研究的对象是连续型随机变量时,我们用 概率密度函数(probability density function, PDF)而不是概率质量函数来描述它的概率分布。概率密度函数 p(x) 并没有直接对特定的状态给出概率,相对的,它给出了落在面积为 δx 的无限小的区域内的概率为:
p(x)δx
我们可以对概率密度函数求积分来获得点集的真实概率质量。特别地,x 落在 集合 S 中的概率可以通过 p(x) 对这个集合求积分来得到。在单变量的例子中,x 落在区间 [a, b] 的概率是: