文章目录
本文涉及的代码见: 链接,码砖不易,求一个star。
第一章、贝叶斯滤波与平滑
1. 应用
整理各类应用
应用名称 | 状态量 | 观测量 |
---|---|---|
GPS | 位置、星历 | 多个卫星的波达时间、星历 |
目标跟踪 | 位置、速度 | 传感器量测量 |
多目标跟踪 | 同上、目标数量、数据关联 | 传感器数据 |
组合惯性导航 | 位置、速度 | GPS、IMU |
传染病 | 人群 | 量测信息 |
还有生物过程、通信、音频信号处理、随机最优控制、学习系统、物理系统。值得一提的是,随机最优控制还有时间最短、误差最小的概念在里面。
2. 起源
整理各类方法起源
方法 | 基本思路 | 应用 | 时间 | 国别/作者 |
---|---|---|---|---|
维纳滤波 | 期望已知 | 第二次世界大战雷达跟踪 | 1942 | 美国/维纳 |
卡尔曼滤波 | NAS | 1960 | 美国鲁道夫卡尔曼、俄罗斯 |
有一个整理的比较好的博客博客
3. 基于最优滤波与平滑的贝叶斯推理
最优滤波和平滑被认为是统计反演问题:
假设小车沿X轴移动,每0.1s有一个位置观测,状态为位置与速度。假设小车运行了10s,一个观测有100个,状态也有一百个。
代码:运行gui
在公式1.1中,
p
(
x
0
:
100
)
p(x_{0:100})
p(x0:100)这里的先验信息包含了我们对系统的建模,即匀加速直线运动。
p
(
y
0
:
100
∣
x
0
:
100
)
p(y_{0:100}|x_{0:100})
p(y0:100∣x0:100)是量测信息似然模型。
当时间继续推移,有101个观测进来时,整个系统需要全部更新。
文中用图示表达了预测、滤波、平滑的区别
4. 贝叶斯滤波与平滑
文中列出了几种有闭型解的滤波和平滑问题
5. 参数估计
6. 习题
第二章、贝叶斯推理
1. 基本原理
贝叶斯推理与频率论不同。在贝叶斯框架下,一个事件发生的概率,并不意味着该事件在多次实验下发生的概率,而是指在单次实验中的不确定性。
用到的数学工具有:概率分布、概率积分
2. 贝叶斯推理与极大似然估计
顾名思义,极大似然估计,就是最大化似然函数 。在这一节中,作者改变了符号表示,最好还是用
p
(
x
0
:
T
∣
y
0
:
T
)
p(x_{0:T}|y_{0:T})
p(x0:T∣y0:T)。在极大似然估计中,定义:
L
(
x
)
=
p
(
y
0
:
T
∣
x
0
:
T
)
L(x) = p(y_{0:T}|x_{0:T})
L(x)=p(y0:T∣x0:T)
如果概率符合正态分布,就可以使用log函数将二次型整理出来。最大化二次型,就转化为求最值的事情了。
而在贝叶斯推理中,将参数x也看做了随机变量,其先验分布也包含进去了。
可以这么讲,贝叶斯估计,就是比极大似然多一个先验分布。
3. 基础构成
- 先验模型
如初始位置、运动模型 - 量测模型
参数到量测量的随机映射,就是函数h(x). - 后验分布
就是贝叶斯公式 - 预测后验分布
p ( y T + 1 ∣ y 1 : T ) p(y_{T+1}|y_{1:T}) p(yT+1∣y1:T). 这可以是未来预测量的理论依据。
4. 贝叶斯点估计
本书讲的不太好,非重点
5. 数值方法
第三章、批处理与递归
就是平滑与滤波的实现方案
1. 批处理线性回归
后验分布表示出来之后,将先验分布,似然概率相乘,即可得到后验的表达形式,再通过二次型,就可以得出均值和方差(即分布就出来了):
2. 递归线性回归
递归线性回归与批处理的区别就会,k-1次观测的结果,当做了先验。
p
(
θ
∣
y
1
:
k
)
=
p
(
θ
∣
y
1
:
(
k
−
1
)
)
p
(
y
k
∣
θ
)
p(\theta | y_{1:k}) = p(\theta |y_{1:(k-1)}) p(y_k|\theta)
p(θ∣y1:k)=p(θ∣y1:(k−1))p(yk∣θ)
Demo见代码:chapter3/gui. 运行的界面如图:
- 运行效果,批处理的收敛性要好于滤波的,最终误差更小。
- 运行时间,批处理的时间复杂度随着量测量的增多线性增加,而递归线性回归的计算量保持不变。
3. 批处理与递归总结
批处理利用的性质
具体方法 | |
---|---|
量测量 y k y_k yk相互独立 | 所有量测量类似然概率等于各个量测量似然概率相乘 |
贝叶斯法则 | 求得后验概率 |
递归利用的性质
具体方法 | |
---|---|
先验概率 | 利用先验概率等于前面所有批处理的后验概率 |
递归的优点
- 在线学习参数
4. 含有漂移的线性回归
这一节有一个重要的知识点是:两个变量的高斯分布乘积,通过边缘化,得到新的分布,用的是Chapman-Kolmmogorov方程。这里有一篇博客讲解的查普曼方程。
当然,对于转移概率,我们可以简单得用正态分布的性质去类比。
本节主要内容:主要是在先验信息的基础上,增加了参数的时变性.
5. 含有漂移的状态空间模型
本节主要内容:在参数时变的基础上,构造了一个更elegent的状态空间模型,重新定义了H函数。增加了状态空间,将变化量加入进来,这样H函数中就没有时间t了。
因此这一节叫这个小标题不太好,不如叫:重新定义状态空间模型。
Note: 2020年第三本书