贝叶斯滤波与平滑（1-3）

本文涉及的代码见： 链接，码砖不易，求一个star。

第一章、贝叶斯滤波与平滑

1. 应用

整理各类应用

应用名称	状态量	观测量
GPS	位置、星历	多个卫星的波达时间、星历
目标跟踪	位置、速度	传感器量测量
多目标跟踪	同上、目标数量、数据关联	传感器数据
组合惯性导航	位置、速度	GPS、IMU
传染病	人群	量测信息

还有生物过程、通信、音频信号处理、随机最优控制、学习系统、物理系统。值得一提的是，随机最优控制还有时间最短、误差最小的概念在里面。

2. 起源

整理各类方法起源

方法	基本思路	应用	时间	国别/作者
维纳滤波	期望已知	第二次世界大战雷达跟踪	1942	美国/维纳
卡尔曼滤波		NAS	1960	美国鲁道夫卡尔曼、俄罗斯

有一个整理的比较好的博客博客

3. 基于最优滤波与平滑的贝叶斯推理

最优滤波和平滑被认为是统计反演问题：

假设小车沿X轴移动，每0.1s有一个位置观测，状态为位置与速度。假设小车运行了10s，一个观测有100个，状态也有一百个。
代码：运行gui
在公式1.1中，$p(x_{0:100})$这里的先验信息包含了我们对系统的建模，即匀加速直线运动。$p(y_{0:100}|x_{0:100})$是量测信息似然模型。
当时间继续推移，有101个观测进来时，整个系统需要全部更新。
文中用图示表达了预测、滤波、平滑的区别

4. 贝叶斯滤波与平滑

文中列出了几种有闭型解的滤波和平滑问题

5. 参数估计

6. 习题

第二章、贝叶斯推理

1. 基本原理

贝叶斯推理与频率论不同。在贝叶斯框架下，一个事件发生的概率，并不意味着该事件在多次实验下发生的概率，而是指在单次实验中的不确定性。
用到的数学工具有：概率分布、概率积分

2. 贝叶斯推理与极大似然估计

顾名思义，极大似然估计，就是最大化似然函数 。在这一节中，作者改变了符号表示，最好还是用$p(x_{0:T}|y_{0:T})$。在极大似然估计中，定义：
$$L(x)=p(y_{0:T}|x_{0:T})$$
如果概率符合正态分布，就可以使用log函数将二次型整理出来。最大化二次型，就转化为求最值的事情了。
而在贝叶斯推理中，将参数x也看做了随机变量，其先验分布也包含进去了。
可以这么讲，贝叶斯估计，就是比极大似然多一个先验分布。

3. 基础构成

• 先验模型
  如初始位置、运动模型
• 量测模型
  参数到量测量的随机映射，就是函数h(x).
• 后验分布
  就是贝叶斯公式
• 预测后验分布
  $p(y_{T+1}|y_{1:T})$. 这可以是未来预测量的理论依据。

4. 贝叶斯点估计

本书讲的不太好，非重点

5. 数值方法

第三章、批处理与递归

就是平滑与滤波的实现方案

1. 批处理线性回归

后验分布表示出来之后，将先验分布，似然概率相乘，即可得到后验的表达形式，再通过二次型，就可以得出均值和方差（即分布就出来了）：

2. 递归线性回归

递归线性回归与批处理的区别就会，k-1次观测的结果，当做了先验。
$$p(\theta |y_{1:k})=p(\theta |y_{1:(k-1)})p(y_k|\theta )$$
Demo见代码：chapter3/gui. 运行的界面如图：

• 运行效果，批处理的收敛性要好于滤波的,最终误差更小。
• 运行时间，批处理的时间复杂度随着量测量的增多线性增加，而递归线性回归的计算量保持不变。

3. 批处理与递归总结

批处理利用的性质

	具体方法
量测量$y_k$相互独立	所有量测量类似然概率等于各个量测量似然概率相乘
贝叶斯法则	求得后验概率

递归利用的性质

	具体方法
先验概率	利用先验概率等于前面所有批处理的后验概率

递归的优点

• 在线学习参数

4. 含有漂移的线性回归

这一节有一个重要的知识点是：两个变量的高斯分布乘积，通过边缘化，得到新的分布，用的是Chapman-Kolmmogorov方程。这里有一篇博客讲解的查普曼方程。
当然，对于转移概率，我们可以简单得用正态分布的性质去类比。
本节主要内容：主要是在先验信息的基础上，增加了参数的时变性.

5. 含有漂移的状态空间模型

本节主要内容：在参数时变的基础上，构造了一个更elegent的状态空间模型，重新定义了H函数。增加了状态空间，将变化量加入进来，这样H函数中就没有时间t了。
因此这一节叫这个小标题不太好，不如叫：重新定义状态空间模型。

Note: 2020年第三本书