本文使用 Zhihu On VSCode 创作并发布
0 前言
贝叶斯滤波基于贝叶斯公式,通过上一时刻的状态及当前时刻的输入,对当前时刻的状态作出预测,并通过当前时刻的观测对预测作出更新(也可称为纠正),最终实现对当前时刻状态的估计。贝叶斯滤波思想是卡尔曼滤波、粒子滤波等算法的基础。本文从概率基础概念出发,逐步进行贝叶斯滤波的推导。
1 概率基础概念拾遗
1.1 随机变量
1.1.1 定义
定义在样本空间
被称为随机变量(random variable),如下图所示。
随机变量表示随机试验各种结果的实值单值函数。随机事件不论与数量是否直接有关,都可以数量化,即都能用数量化的方式表达。
“随机变量
类似地,有:
1.1.2 离散型随机变量
如果随机变量的函数值是实数轴上孤立的点(有限个或者无限个),则称为离散型随机变量:
1.1.3 连续型随机变量
如果随机变量的函数值是实数轴上某个区间上所有的值(也可以是
1.2 累积分布函数
设
为随机变量
若
若
分布函数满足单调性、有界性和右连续性:
- 单调性
对任意,有 - 有界性
对任意,有:
且有: - 右连续性
对任意,有:
1.3 概率质量函数
假设
则称:
为离散型随机变量
也可采用如下的表示方法:
读作
概率质量函数表征了离散型随机变量在各特定取值上的概率,其满足非负性、规范性和可加性:
- 非负性
- 规范性和可加性
离散型随机变量概率质量函数的叠加得到了离散型随机变量的累积分布函数。
1.4 概率密度函数
假设
- 非负性
- 规范性和可加性
则称函数
概率密度函数表征了连续型随机变量的输出值在某个确定的取值点附近的可能性。连续型随机变量的输出值在某个确定的取值点上的概率为0,但并不代表该事件不会发生。
1.5 联合概率
1.5.1 二维离散型随机变量的联合概率质量函数
若二维离散型随机变量
且存在函数
函数
- 非负性
- 规范性和可加性
则称函数
二维离散型随机变量联合概率质量函数的叠加得到了二维离散型随机变量的联合累积分布函数(Joint Cumulative Distribution Function):
1.5.2 二维连续型随机变量的联合概率密度函数
若对于二维连续型随机变量
- 非负性
- 规范性和可加性
则称函数
二维连续型随机变量联合概率密度函数的积分得到了二维连续型随机变量的联合累积分布函数:
1.6 边缘概率
1.6.1 二维离散型随机变量的边缘概率质量函数
若二维离散型随机变量
且联合概率质量函数
对
称为
类似的对
称为
二维离散型随机变量边缘概率质量函数的叠加得到了二维离散型随机变量的边缘累积分布函数(Marginal Cumulative Distribution Function):
1.6.2 二维连续型随机变量的边缘概率密度函数
若二维连续型随机变量
称为
类似的:
称为
二维连续型随机变量边缘概率密度函数的积分得到了二维连续型随机变量的边缘累积分布函数:
1.7 条件概率
1.7.1 二维离散型随机变量的条件概率质量函数
若
为
同样的,对于固定的
为
简言之,对于二维离散型随机变量:
二维离散型随机变量条件概率质量函数的叠加得到了二维离散型随机变量的条件累积分布函数(Conditional Cumulative Distribution Function):
1.7.2 二维连续型随机变量的条件概率密度函数
假设二维连续型随机变量
为随机变量
若对于固定的
为随机变量
简言之,对于二维连续型随机变量:
二维连续型随机变量条件概率密度函数的积分得到了二维连续型随机变量的条件累积分布函数:
1.8 全概率
1.8.1 二维离散型随机变量的全概率公式
对于二维离散型随机变量
容易得到二维离散型随机变量联合概率质量函数的等价形式:
由边缘概率质量函数与联合概率质量函数间的数量关系,得到二维离散型随机变量的全概率公式:
1.8.2 二维连续型随机变量的全概率公式
对于二维连续型随机变量
容易得到二维连续型随机变量联合概率密度函数的等价形式:
由边缘概率密度函数与联合概率密度函数间的数量关系,得到二维连续型随机变量的全概率公式:
1.9 随机过程
随机过程(Stochastic Process)是定义在
- 对于固定的时间
,为随机变量,简记为或;
- 对于固定的
(即固定每一时刻对应的随机变量的取值),为时间的一般函数,称为样本函数(Sample Function)或样本轨道(Sample Path),简记为。随机过程也可定义为一组样本函数的集合。
注意:随机变量
依据随机变量和参数集的连续离散情况,随机过程有以下四种类型:
- 连续型随机过程:随机变量连续,参数连续;
- 离散型随机过程:随机变量离散,参数连续;
- 连续型随机序列:随机变量连续,参数离散;
- 离散型随机序列:随机变量离散,参数离散。
不同于确定过程,随机过程中的随机变量彼此间不独立。应该理解,贝叶斯滤波处理的是一个随机过程,而且往往是一个连续型随机过程。
2 贝叶斯滤波
2.1 贝叶斯公式
2.1.1 二维离散型随机变量的贝叶斯公式
对于二维离散型随机变量
二维离散型随机变量的贝叶斯公式可通过作图的方式轻松证得。
2.1.2 二维连续型随机变量的贝叶斯公式
(1) 结论
对于二维连续型随机变量
(2) 推导
二维连续型随机变量的贝叶斯公式无法通过作图的方式推得,下面进行公式推导,首先计算二维连续型随机变量的条件累积分布函数:
故,二维连续型随机变量的条件概率密度函数为:
代入全概率公式:
上式即为二维连续型随机变量的贝叶斯公式,推导完毕。
2.2 先验概率、似然概率与后验概率
在二维连续型随机变量的贝叶斯公式中,有如下定义:
-
被称为先验概率密度(Prior Probability Density),表示根据以往的经验和分析,在本次试验或采样前便可获得的随机变量的概率密度;
-
被称为似然概率密度(Likelihood Probability Density),表示在状态随机变量取值为的条件下,观测随机变量取值为的概率密度,状态为因,观测为果,即由因推果;
-
被成为后验概率密度(Posterior Probability Density),表示在观测随机变量取值为的条件下,状态随机变量取值为的概率密度,状态为因,观测为果,即由果推因。
此外,当
因此,二维连续型随机变量的贝叶斯公式可表示为:
2.3 再谈似然概率
上文中提到,似然概率密度函数
(1) 等可能型
观测值在状态量真值附近呈均匀分布,此时的似然概率密度函数为常数。
(2) 阶梯型
观测值在状态量真值附近呈阶梯分布,此时的似然概率密度函数为分段常数。
(3) 正态分布型
观测值在状态量真值附近呈高斯分布,此时的似然概率密度函数为高斯函数:
若假定似然概率密度函数为高斯函数,此时,似然概率密度函数的均值
则
由于
且
故,后验概率密度函数方差既小于先验概率密度函数方差,也小于似然概率密度函数方差,系统不确定度降低。
若
此时,后验倾向于观测。
若
此时,后验倾向于先验。
2.4 贝叶斯滤波推导
2.4.1 问题建模
(1) 问题描述
对于某状态量随机变量
求解 k 时刻状态量随机变量
(2) 求解思路
以贝叶斯公式为求解方向,将问题转化为求解状态量随机变量
进而需要求解状态量随机变量
对于 0 时刻的初始状态量随机变量
(3) 符号定义
- 各时刻的状态量随机变量
- 各时刻的观测量随机变量
- 各时刻的观测值
- 各时刻的过程噪声随机变量
- 各时刻的观测噪声随机变量
- 各时刻的过程噪声随机变量概率密度函数
- 各时刻的观测噪声随机变量概率密度函数
- 各时刻的状态量随机变量先验概率密度函数
- 各时刻的状态量随机变量后验概率密度函数
- 各时刻状态量随机变量与观测量随机变量的似然概率密度函数
(4) 重要假设
-
分别与相互独立;
-
分别与相互独立;
-
与相互独立;
-
与相互独立。
(5) 重要定理
2.4.2 预测步推导
已知 0 时刻状态量随机变量
类似二维连续型随机变量贝叶斯公式的推导过程,我们从求解
故,1 时刻状态量随机变量
推导完毕。可以发现,先验概率密度函数本质来源于状态方程。
2.4.3 更新步推导
已知 1 时刻观测量随机变量
首先,求解似然概率密度函数
可以发现,似然概率密度函数本质来源于观测方程。
然后,联合预测步得到的 1 时刻状态量随机变量
其中,归一化常数
推导完毕。
2.4.4 递推流程
由预测步和更新步的推导结果,可得到由 0 时刻状态量随机变量
其中,归一化常数
最终,可得到 k 时刻状态量随机变量
2.4.5 完整算法框架
(1) 设初值
初始 0 时刻状态量随机变量
(2) 预测步
k 时刻状态量随机变量
(3) 更新步
k 时刻状态量随机变量
归一化常数
(4) 求解状态量后验估计
k 时刻状态量随机变量
2.5 贝叶斯滤波的缺点及解决方法
2.5.1 缺点
从上文的推导及结论中可以发现,求解预测步中的先验概率密度函数
2.5.2 解决办法
为了解决贝叶斯滤波中的无穷积分问题,通常从两个角度出发:
(1) 作理想假设
- 假设状态转移函数
和观测函数均为线性函数,过程噪声随机变量和 观测噪声随机变量均服从均值为 0 的正态分布——卡尔曼滤波(Kalman Filter)
- 假设状态转移函数
和(或)观测函数为非线性函数,过程噪声随机变量和 观测噪声随机变量均服从均值为 0 的正态分布——扩展卡尔曼滤波(Extended Kalman Filter)和无迹卡尔曼滤波(Unscented Kalman Filter)
(2) 化连续为离散
将无穷积分转化为数值积分,一般有以下方法:
- 高斯积分(不常用)
- 蒙特卡罗积分(粒子滤波,Particle Filter)
- 直方图滤波
针对本节内容中提到的卡尔曼滤波、扩展卡尔曼滤波、无迹卡尔曼滤波、粒子滤波、直方图滤波等常用滤波算法,将在后续文章中进行详细展开讨论。
3 参考
- 马同学数学课程
- 百度百科 - 分布函数
- 百度百科 - 随机过程
- 如何从深刻地理解随机过程的含义?
- b站忠实的王大头《贝叶斯滤波与卡尔曼滤波》系列教学视频
- 你真的搞懂贝叶斯滤波了吗?
如果觉得文章对你有所帮助的话,欢迎点赞/评论/收藏/关注,相互交流,共同进步~