概率论的基础知识

本文参考的是《概率机器人》中内容
令X表示一个随机变量，x表示X的某一特定值。

表示随机变量X具有x值的概率，可以缩写为P（x）

假定所有的连续随机变量都拥有概率密度函数（Probability Density Function，PDF）。普通密度函数都具有均值μ和方差б2的一维正态分布。正态分布的概率密度函数为：

但当x为多维矢量时，矢量的正态分布被称为多元正态分布，多元正态分布的密度函数形式如下：

上式中，μ为均值矢量，Σ为一个半正定对称矩阵，称为协方差矩阵。

两个随机变量X和Y的联合分布为：

上式描述了随机变量X取值为x并且Y取值y的概率。X与Y互相独立，则P(x,y)=P(x)P(y)。

假定已知Y的值是y，则基于以上事实条件X为x的概率，这样的概率为：

上式称为条件概率。If P(y)>0，then

if X和Y互相独立，then:

则全概率定理为：

贝叶斯准则（该准则将条件概率p(x|y)与‘逆’概率p(y|x)联系）：


如果x是希望由y推测出的数值，则p(x)称为先验概率分布。Y称为数据，也就是传感器测量。P(x)总结了在综合数据y之前已经有的关于x的信息。P(x|y)称为在x上的后验概率分布。在机器人学中，p(y|x)经常被称为生成模型。在一定的抽象层面上，它表示状态量X如何引起了检测数据Y。
只要p(y|z)>0，关于Z=z的贝叶斯准则则有：

类似地，可得到其他以z为条件的互相独立的随机变量条件。
联合概率定律为：

概率算法要求计算概率分布的特性或统计。随机变量X的期望值为：

存在以下特性：

X的协方差为：

协方差衡量的是偏离均值的二次方期望。

一个概率分布的熵为：

可导出：