从概率到贝叶斯滤波

0 前言

贝叶斯滤波基于贝叶斯公式，通过上一时刻的状态及当前时刻的输入，对当前时刻的状态作出预测，并通过当前时刻的观测对预测作出更新（也可称为纠正），最终实现对当前时刻状态的估计。贝叶斯滤波思想是卡尔曼滤波、粒子滤波等算法的基础。本文从概率基础概念出发，逐步进行贝叶斯滤波的推导。

1 概率基础概念拾遗

1.1 随机变量

1.1.1 定义

定义在样本空间 $\Omega$ 上的实值函数：
$$X=X(\omega ),\omega \in \Omega$$

被称为随机变量（random variable），如下图所示。$\omega$ 表示样本空间 $\Omega$ 里的随机事件，可能与数量有关（如传感器随机测得的前方障碍物的距离值，随机掷骰子得到的点数），也可能与数量无关（如随机掷硬币的结果可能为正面或反面）。

随机变量表示随机试验各种结果的实值单值函数。随机事件不论与数量是否直接有关，都可以数量化，即都能用数量化的方式表达。

“随机变量 $X$ 的取值为 $x$ ”就是满足等式 $X(\omega )=x$ 的一切 $\omega$ 组成的集合，简记为“ $X=x$”，这是 $\Omega$ 的一个子集，即：
“ X = x ” = { ω : X ( ω ) = x } ⊂ Ω “X=x”=\{\omega:X(\omega)=x\} \subset \Omega “X=x”={ ω:X(ω)=x}⊂Ω

类似地，有：
“ X ⩽ x ” = { ω : X ( ω ) ⩽ x } ⊂ Ω “X\leqslant x”=\{\omega:X(\omega)\leqslant x\} \subset \Omega “X⩽x”={ ω:X(ω)⩽x}⊂Ω

1.1.2 离散型随机变量

如果随机变量的函数值是实数轴上孤立的点（有限个或者无限个），则称为离散型随机变量：

1.1.3 连续型随机变量

如果随机变量的函数值是实数轴上某个区间上所有的值（也可以是 $(-\infty ,+\infty )$ 区间），则称为连续型随机变量：

1.2 累积分布函数

设 $X$ 为一个随机变量，对于任意实数 $x$，称：
$$F(x)=P(X\le x)$$

为随机变量 $X$ 的累积分布函数（Cumulative Distribution Function，CDF），又称概率分布函数，简称分布函数。

若 $X$ 为离散型随机变量，存在函数 $f_X(x)$，使其分布函数满足：
$$F(x)=P(X\le x)=\sum _{u\le x}{f}_X(u)$$

若 $X$ 为连续型随机变量，存在函数 $f_X(x)$，使其分布函数满足：
$$F(x)=P(X\le x)={\int }_{-\infty }^x{f}_X(u)\mathrm{d}u$$

分布函数满足单调性、有界性和右连续性：

• 单调性
  对任意 $x_1\le x_2$，有 $F(x_1)\le F(x_2)$
• 有界性
  对任意 $x$，有：
  $$0\le F(x)\le 1$$
  且有：
  $$\underset{x\to -\infty }{\lim }F(x)=0,\underset{x\to +\infty }{\lim }F(x)=1$$
• 右连续性
  对任意 $x_0$，有：
  $$\underset{x\to x_0^{+}}{\lim }F(x)=F(x_0)$$

1.3 概率质量函数

假设 $X$ 为离散型随机变量，其全部可能取值为 $x_1,x_2,x_3,\cdot \cdot \cdot$ ，其概率分布列可表述为：

$X$	$x_1$	$x_2$	$x_3$	···
$P$	$p(x_1)$	$p(x_2)$	$p(x_3)$	···

则称：
f X ( x ) = { p ( x ) = P ( X = x ) , x ∈ { x i } , i = 1 , 2 , 3 , ⋅ ⋅ ⋅ 0 , 其 它 f_X(x)= \begin{cases} p(x)=P(X=x), \quad x \in \{x_i\}, i=1, 2, 3, ··· \\ 0, \quad 其它 \end{cases} fX​(x)={ p(x)=P(X=x),x∈{ xi​},i=1,2,3,⋅⋅⋅0,其它​

为离散型随机变量 $X$ 的概率质量函数（Probability Mass Function，PMF）。

也可采用如下的表示方法：
$$X\sim p(x)$$

读作 $X$ 服从 $p(x)$ 的概率分布。

概率质量函数表征了离散型随机变量在各特定取值上的概率，其满足非负性、规范性和可加性：

• 非负性
  $$f_X(x_i)\ge 0$$
• 规范性和可加性
  $$\sum _{i=1}^{\infty }{f}_X(x_i)=1$$

离散型随机变量概率质量函数的叠加得到了离散型随机变量的累积分布函数。

1.4 概率密度函数

假设 $X$ 为连续型随机变量，存在函数 $f_X(x)$，且满足：

• 非负性
  $$f_X(x)\ge 0$$
• 规范性和可加性
  $${\int }_{-\infty }^{+\infty }{f}_X(x)\mathrm{d}x=1$$

则称函数 $f_X(x)$ 为连续型随机变量 $X$ 的概率密度函数（Probability Density Function，PDF），连续型随机变量概率密度函数的积分得到了连续型随机变量的累积分布函数。

概率密度函数表征了连续型随机变量的输出值在某个确定的取值点附近的可能性。连续型随机变量的输出值在某个确定的取值点上的概率为0，但并不代表该事件不会发生。

1.5 联合概率

1.5.1 二维离散型随机变量的联合概率质量函数

若二维离散型随机变量 $(X,Y)$ 所有可能的取值为
$$(x_i,y_j),i,j=1,2,3,\cdots$$

且存在函数 $f_{X,Y}(x,y)$：
f X , Y ( x , y ) = p ( x , y ) = P ( X = x , Y = y ) , ( x , y ) ∈ { x i , y j } , i , j = 1 , 2 , 3 , ⋅ ⋅ ⋅ f_{X,Y}(x,y)=p(x,y)=P(X=x,Y=y), \quad (x,y) \in \{x_i,y_j\}, i,j=1, 2, 3, ··· fX,Y​(x,y)=p(x,y)=P(X=x,Y=y),(x,y)∈{ xi​,yj​},i,j=1,2,3,⋅⋅⋅

函数 $f_{X,Y}(x,y)$ 满足如下性质（即概率的三大公理）：

• 非负性
  $$f_{X,Y}(x_i,y_i)\ge 0$$

• 规范性和可加性
  $$\sum _{i=1}^{\infty }\sum _{j=1}^{\infty }{f}_{X,Y}(x_i,y_i)=1$$

则称函数 $f_{X,Y}(x,y)$ 为 $(X,Y)$ 的联合概率质量函数（Joint Probability Mass Function），又称联合分布列，此定义可以推广到多维离散型随机变量。

二维离散型随机变量联合概率质量函数的叠加得到了二维离散型随机变量的联合累积分布函数（Joint Cumulative Distribution Function）：
$$F_{X,Y}(x,y)=P(X\le x,Y\le y)=\sum _{u\le x}\sum _{v\le y}{f}_{X,Y}(u,v)$$

1.5.2 二维连续型随机变量的联合概率密度函数

若对于二维连续型随机变量 $(X,Y)$，存在二元函数 $f_{X,Y}(x,y)$ 满足：

• 非负性
  $$f_{X,Y}(x,y)\ge 0$$

• 规范性和可加性
  $${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }{f}_{X,Y}(x,y)\mathrm{d}x\mathrm{d}y=1$$

则称函数 $f_{X,Y}(x,y)$ 为 $(X,Y)$ 的联合概率密度函数（Joint Probability Density Function），此定义可以推广到多维连续型随机变量。

二维连续型随机变量联合概率密度函数的积分得到了二维连续型随机变量的联合累积分布函数：
$$F_{X,Y}(x,y)=P(X\le x,Y\le y)={\int }_{-\infty }^x{\int }_{-\infty }^y{f}_{X,Y}(u,v)\mathrm{d}v\mathrm{d}u$$

1.6 边缘概率

1.6.1 二维离散型随机变量的边缘概率质量函数

若二维离散型随机变量 $(X,Y)$ 所有可能的取值为
$$(x_i,y_j),i,j=1,2,3,\cdots$$

且联合概率质量函数 $f_{X,Y}(x,y)$ 为：
f X , Y ( x , y ) = p ( x , y ) = P ( X = x , Y = y ) , ( x , y ) ∈ { x i , y j } , i , j = 1 , 2 , 3 , ⋅ ⋅ ⋅ f_{X,Y}(x,y)=p(x,y)=P(X=x,Y=y), \quad (x,y) \in \{x_i,y_j\}, i,j=1, 2, 3, ··· fX,Y​(x,y)=p(x,y)=P(X=x,Y=y),(x,y)∈{ xi​,yj​},i,j=1,2,3,⋅⋅⋅

对 $j$ 求和所得的函数：
f X ( x ) = ∑ j = 1 ∞ f X , Y ( x , y j ) = ∑ j = 1 ∞ P ( X = x , Y = y j ) = P ( X = x ) , x ∈ { x i } , i = 1 , 2 , 3 , ⋅ ⋅ ⋅ f_X(x)=\sum_{j=1}^{\infty}f_{X,Y}(x,y_j)=\sum_{j=1}^{\infty}P(X=x,Y=y_j)=P(X=x), \quad x \in \{x_i\}, i=1, 2, 3, ··· fX​(x)=j=1∑∞​fX,Y​(x,yj​)=j=1∑∞​P(X=x,Y=yj​)=P(X=x),x∈{ xi​},i=1,2,3,⋅⋅⋅

称为 $X$ 的边缘概率质量函数（Marginal Probability Mass Function），又称边缘分布列。

类似的对 $i$ 求和所得的函数：
f Y ( y ) = ∑ i = 1 ∞ f X , Y ( x i , y ) = ∑ i = 1 ∞ P ( X = x i , Y = y ) = P ( Y = y ) , y ∈ { y j } , j = 1 , 2 , 3 , ⋅ ⋅ ⋅ f_Y(y)=\sum_{i=1}^{\infty}f_{X,Y}(x_i,y)=\sum_{i=1}^{\infty}P(X=x_i,Y=y)=P(Y=y), \quad y \in \{y_j\}, j=1, 2, 3, ··· fY​(y)=i=1∑∞​fX,Y​(xi​,y)=i=1∑∞​P(X=xi​,Y=y)=P(Y=y),y∈{ yj​},j=1,2,3,⋅⋅⋅

称为 $Y$ 的边缘概率质量函数。

二维离散型随机变量边缘概率质量函数的叠加得到了二维离散型随机变量的边缘累积分布函数（Marginal Cumulative Distribution Function）：
$$\begin{gathered} F_X(x)=P(X\le x)=\sum _{u\le x}{f}_X(u)=\sum _{u\le x}\sum _{j=1}^{\infty }P(X=u,Y=y_j)=\sum _{u\le x}P(X=u) \\ {F}_Y(y)=P(Y\le y)=\sum _{v\le y}{f}_Y(v)=\sum _{v\le y}\sum _{i=1}^{\infty }P(Y=v,X=x_i)=\sum _{v\le y}P(Y=v) \end{gathered}$$

1.6.2 二维连续型随机变量的边缘概率密度函数

若二维连续型随机变量 $(X,Y)$ 的联合概率密度函数为 $f_{X,Y}(x,y)$，则：
$$f_X(x)={\int }_{-\infty }^{+\infty }{f}_{X,Y}(x,y)\mathrm{d}y$$

称为 $X$ 的边缘概率密度函数（Marginal Probability Density Function）。

类似的：
$$f_Y(y)={\int }_{-\infty }^{+\infty }{f}_{X,Y}(x,y)\mathrm{d}x$$

称为 $Y$ 的边缘概率密度函数。

二维连续型随机变量边缘概率密度函数的积分得到了二维连续型随机变量的边缘累积分布函数：
$$\begin{gathered} F_X(x)=P(X\le x)={\int }_{-\infty }^x{f}_X(u)\mathrm{d}u={\int }_{-\infty }^x{\int }_{-\infty }^{+\infty }{f}_{X,Y}(u,y)\mathrm{d}y\mathrm{d}u \\ {F}_Y(y)=P(Y\le y)={\int }_{-\infty }^y{f}_Y(v)\mathrm{d}v={\int }_{-\infty }^y{\int }_{-\infty }^{+\infty }{f}_{X,Y}(x,v)\mathrm{d}x\mathrm{d}v \end{gathered}$$

1.7 条件概率

1.7.1 二维离散型随机变量的条件概率质量函数

若 $(X,Y)$ 是二维离散型随机变量，对于固定的 $j$，若 $P(Y=y_j)>$