概率与信息论-笔记

概率分布（probability distribution）用来描述随机变量或一簇随机变量在每一
个可能取到的状态的可能性大小。我们描述概率分布的方式取决于随机变量是离散

的还是连续的。

 

PMF:   离散型变量的概率分布可以用概率质量函数（probability mass function, PMF）
1来描述。我们通常用大写字母P 来表示概率质量函数。通常每一个随机变量都会有

一个不同的概率质量函数，并且读者必须根据随机变量来推断所使用的PMF

如果一个函数P 是随机变量x 的PMF，必须满足下面这几个条件：

 

PDF:   当我们研究的对象是连续型随机变量时，我们用概率密度函数（probability
density function, PDF）而不是概率质量函数来描述它的概率分布

如果一个函数p
是概率密度函数，必须满足下面这几个条件：

 

有时候，我们知道了一组变量的联合概率分布，但想要了解其中一个子集的概
率分布。这种定义在子集上的概率分布被称为边缘概率分布（marginal probability

distribution）。

 

 

条件概率的链式法则

相对于 联合概率分布， 不是独立分布

 

两个随机变量x 和y，如果它们的概率分布可以表示成两个因子的乘积形式，并
且一个因子只包含x 另一个因子只包含y，我们就称这两个随机变量是相互独立的

（independent）：

如果关于x 和y 的条件概率分布对于z 的每一个值都可以写成乘积的形式，

那么这两个随机变量x 和y 在给定随机变量z 时是条件独立的