控制算法学习 三、贝叶斯滤波（1）概率论基础

前言

之前先写了卡尔曼滤波，事实上卡尔曼滤波只是贝叶斯滤波的一个特例。现在再来学习一下贝叶斯滤波，并引出从概率观点上的卡尔曼滤波推导。

什么是滤波

首先要解释一下什么是滤波。字面意思上，滤波就是把噪声过滤掉，但是我们需要一种更加普遍的解释方法，便于进行系统建模。

假设某一时刻系统的真实状态$为x_n$，我们可以通过传感器观测到系统的含噪状态 Z = { z 1 , z 2 , … , z n } Z=\{ z_1, z_2, \dots, z_n \} Z={z1​,z2​,…,zn​}，滤波就是通过$Z$估计$x_n$的过程。进一步还可以通过$Z$估计$x_{n+1},x_{n+2}$，也就是预测。

贝叶斯公式

回顾一下概率论，假设有a，b是两个事件， B = { b i } B=\{ b_i \} B={bi​}是一个完备事件组。

条件概率公式：
$$P(a|b)=\frac{P(a,b)}{P(b)}$$

全概率公式：
$$P(a)=\sum P(a|b_i)P(b_i)$$

贝叶斯定理：
$$P(b|a)=\frac{P(a|b)P(b)}{P(a)}=\frac{P(a|b)P(b)}{\sum P(a|b_i)P(b_i)}$$
单独解释一下系统过程中的贝叶斯定理：
假设系统的真实状态分布为$X$，观测到的状态分布为$Z$，则有：
$$P(X|Z)=\frac{P(X)P(Z|X)}{P(Z)}\propto P(X)P(Z|X)$$
$X$是状态；
$Z$是观测；
$P(X)$是状态的先验估计；
$P(X|Z)$是状态的后验估计；
$P(Z|X)$是似然，即在状态分布$X$下观测到$Z$的可能；
$P(Z)$是观测证据。

贝叶斯递推关系

由于滤波中需要考虑 Z = { z 1 : n } Z=\{ z_{1:n} \} Z={z1:n​}个观测量，因此需要获得多变量之间的贝叶斯关系。

对于三个变量的贝叶斯定理：
$$\begin{array}{rl}P(x|y,z)& =\frac{P(x,y,z)}{P(y,z)}\\ & =\frac{P(y|x,z)P(x,z)}{P(y|z)P(z)}\\ & =\frac{P(y|x,z)P(x|z)P(z)}{P(y|z)P(z)}\\ & =\frac{P(y|x,z)P(x|z)}{P(y|z)}\end{array}$$

扩展到多变量：
$$\begin{array}{rl}P(x_n|z_n,z_{1:n-1})& =\frac{P(z_n|x_n,z_{1:n-1})P(x_n|z_{1:n-1})}{P(z_n|z_{1:n-1})}\\ & =\frac{P(z_n|x_n,z_{1:n-1})}{P(z_n|z_{1:n-1})}P(x_n|z_{1:n-1})\\ & =\frac{P(z_n|x_n,z_{1:n-1})}{P(z_n|z_{1:n-1})}\frac{P(z_{n-1}|x_n,z_{1:n-2})}{P(z_n|z_{1:n-2})}P(x_n|z_{1:n-2})\end{array}$$
假设系统满足一阶马尔可夫性，则以上递推公式有一个很美观的结果：
$$\begin{array}{rl}P(x_n|z_n,z_{1:n-1})& \propto \prod _{i=1,2,\dots n}P(z_i|x_n)P(x_n)\end{array}$$

有了以上的贝叶斯理论基础，接下来就可以推导贝叶斯滤波了。