计算机视觉模型、学习和推理

第一章 概率概述

1.1 随机变量

随机变量x表示一个不确定的数量。该变量可以表示一个实验的结果（例如，抛硬币）或波动特性的真实度量（例如，测量温度）。如果我们观察几个实例，它可能在每一个场合取不同的值。然而，一些值可能比其他值更容易出现。这种信息是由随机变量的概率分布Pr(x)决定的。

随机变量可以是离散的或连续的。离散变量从一组凸显确定的集合中取值。这组值可能是有序的（掷骰子的点数从1到6）或者无序的（观察天气的结果是“晴”、“下雨”，或“下雪”）。它可能是有限的（从标准扑克牌中随机抽出一张牌，有52种可能的结果）或者无限的（从理论上说，下一班火车上的人数是无限的）。离散变量的概率分布可以可视化为一个直方图或Hinton图（见图1-1），每个结果都有一个与之相关的正概率，且所有结果的概率之和总是1。

图1-1 离散概率的两种不同表示。a）表示不均匀六面的骰子每一面落在地面上的柱状图。因为柱状图中柱子的高度代表每面的概率，所以所有的高度和为1。b）表示观察带到英国不同天气类型概率的Hinton图。因为长方形区域的面积表示每种天气出现的概率，所以所有的面积之和为1。

连续随机变量取实数值。这些取值可能是有限的（要完成时长两小时考试所花费时间是介于0~2小时之间的）或无限的（下一班车到达的时间是无上界的实数）。无限连续变量可能取遍整个实数范围，或者可能是仅有上界或者下界的区间（车辆的速度能够取任意值，但速率的下界为0）。连续变量的概率分布可以通过绘制概率密度函数（PDF）来可视化。一个结果的概率密度表示随机变量取该值的相对可能性（见图1-2）。它可以取任何正值。然而，PDF的积分总是1。

图1-2 连续概率分布（概率密度函数或简称PDF），即完成测试所需的时间，注意，概率密度可超过1，但曲线下的面积必须始终是单位面积。

1.2 随机变量
假设两个随机变量x和y。若观察x和y的多个成对实例，结果中某些组合出现得较为频繁。这样的情况用x和y的联合概率分布，记作Pr(x,y)。在Pr(x,y)中的逗号可以理解为“和”，所以Pr(x,y)是x和y的概率。一个联合概率分布中的相关变量可能全是离散变量，或全是连续变量，亦或是兼而有之（见图1-3）。不管怎样，所有结果的概率之和（离散变量的总和与连续变量的积分）总是1。

图1-3 变量x和y的联合概率分布。a-c)两个连续变量的概率密度函数分别呈现为曲面图、等值线图和图像。d)表示两个离散变量联合概率分布的二维Hinton图。e)表示连续变量x和离散变量y的联合概率分布。f)表示离散变量x与连续变量y的联合概率分布

一般来说，与二元变量的概率分布相比，我们会对多元变量的联合概率分布更感兴趣，我们将Pr(x,y,z)记为标量变量x、y和z的联合概率分布，也可以把Pr(x）当成所有多维元素
的联合概率。最后，我们用Pr(x,y)表示所有多维变量x，y的联合概率分布。