模型、学习和推理：第2章 概率概述

---

第2章 概率概述

2.1 随机变量

1. 随机变量x是一个不确定的数量。x可以表示一个实验的结果或波动特性的真实度量。
2. 随机变量x可以是离散或连续的。离散变量的总和与连续变量的积分总是1。
3. 离散变量从一组预先确定的集合中取值。其值可以是有序或无序，有限或无限。离散变量的概率分布常用直方图或Hinton图表示。
4. 连续变量取实数值。其值可以是有限或无限。连续变量的概率分布常用概率密度函数（PDF）表示。

2.2 联合概率

1. Pr(x,y)是随机变量x和y的联合概率。x可以是离散变量或连续变量，y也是如此。

2.3 边缘化

1. 在联合概率Pr(x,y)中，对所有的y值求和或积分可得到边缘概率Pr(x)，对所有的x值求和或积分可得边缘概率Pr(y)。Pr(x)和Pr(x)被称为边缘分布，其它变量的求和或积分过程被称为边缘化。

2. 任何变量子集的联合概率都可边缘化所有其它变量得出。

2.4 条件概率

1. Pr(x|y=y*)代表y=y*时，x的概率。

2. Pr(x|y)代表y确定时，x的概率。

3. 当有两个以上的变量时，可不断用条件概率分布将联合概率分布分解为乘积形式。

2.5 贝叶斯公式

1. 贝叶斯公式（2.9）。其中，Pr(y|x)是后验概率（posterior），Pr(y)是先验概率（prior），Pr(x|y)是似然性（likelihood），Pr(x)是证据（evident）。

2. 计算机视觉中，常用Pr(x|y)表示变量x和y的关系。Pr(y|x)可用贝叶斯公式计算得出。

2.6 独立性

1. 若变量x不能获得变量y的任何信息，反之亦然，则称x和y是独立的。

2.7 期望

1. 期望

2. 二元随机变量的期望

3. 特殊函数的期望

4. 期望的4条性质