机器学习笔记之卡尔曼滤波(二)滤波思想的推导过程

静静的喝酒

已于 2022-11-20 14:30:46 修改

阅读量742

点赞数 1

分类专栏：机器学习文章标签：人工智能卡尔曼滤波迭代思想推导状态空间模型

于 2022-10-31 17:50:49 首次发布

本文链接：https://blog.csdn.net/qq_34758157/article/details/127588583

版权

机器学习笔记之卡尔曼滤波——滤波思想的推导过程（Filtering）

引言

引言

上一节介绍了动态模型，本节将介绍卡尔曼滤波模型中的滤波问题。

回顾：隐马尔可夫模型 VS 卡尔曼滤波

动态模型(Dynamic Model)的局部概率图模型表示如下：
动态模型的局部概率图模型

这里并非单独比较隐马尔可夫模型和卡尔曼滤波两种模型，而是对描述隐马尔可夫模型和卡尔曼滤波的相关性质 进行比较：
(这里从模型参数的角度进行比较)
'非线性、非高斯动态模型'的代表(Non-Linear,Non-Gaussian Dynamic Model)——粒子滤波(Particle Filter)在后续介绍时再进行归纳,这里仅归纳2种模型。

离散状态动态模型(Discrete State Dynamic Model)

具有代表性的模型——隐马尔可夫模型。

状态转移概率 $\mathcal P(i_t \mid i_{t-1})$
由于离散状态动态模型中的隐变量是离散型随机变量，因此 $\mathcal P(i_t \mid i_{t-1})$ 通过查找状态转移矩阵 $\mathcal A$ 得到对应结果：
$\begin{aligned} \mathcal A & = [a_{ij}]_{\mathcal K \times \mathcal K} = \begin{bmatrix} a_{11},a_{12},\cdots,a_{1\mathcal K} \\ a_{21},a_{22},\cdots,a_{2\mathcal K} \\ \vdots \\ a_{\mathcal K1},a_{\mathcal K2},\cdots,a_{\mathcal K\mathcal K} \\ \end{bmatrix}_{\mathcal K \times \mathcal K} \\ a_{ij} & = \mathcal P(i_t = q_j \mid i_{t-1} = q_i) \end{aligned}$
其中 $q_i,q_j$ 均是 隐变量取值的离散集合 $\mathcal Q$ 中的元素：
$\begin{aligned} q_i,q_j \in \mathcal Q = \{q_1,q_2,\cdots,q_{\mathcal K}\} \end{aligned}$
发射概率 $\mathcal P(o_t \mid i_t)$
离散状态动态模型中对观测变量 $\mathcal O =\{o_1,o_2,\cdots,o_T\}$ 没有具体要求，它可以是离散型随机变量，也可以是连续型随机变量。这里为容易表达起见，设定 $\mathcal O$ 是离散型随机变量。因此 $\mathcal P(o_t \mid i_t)$ 通过查找发射矩阵 $\mathcal B$ 得到相应结果：
$\begin{aligned} \mathcal B & = [b_j(k)]_{\mathcal K \times \mathcal M} = \begin{bmatrix} b_1(1),b_1(2),\cdots,b_1(\mathcal M) \\ b_2(1),b_2(2),\cdots,b_2(\mathcal M) \\ \vdots \\ b_{\mathcal K}(1),b_{\mathcal K}(2),\cdots,b_{\mathcal K}(\mathcal M) \\ \end{bmatrix}_{\mathcal K \times \mathcal M} \\ b_j(k) & = \mathcal P(o_t = v_k \mid i_t = q_j) \end{aligned}$
而 $v_k$ 表示 观测变量取值的离散集合 $\mathcal V$ 中的元素：
$v_k \in \mathcal V = \{v_1,v_2,\cdots,v_{\mathcal M}\}$
初始概率 $\mathcal P(i_1)$
在隐马尔可夫模型中介绍过，初始概率分布使用 $\pi$ 进行表示：
$\mathcal P(i_1) = \pi$
综上，离散状态动态模型需要求解的模型参数具体表示如下：
$\lambda = (\pi,\mathcal A,\mathcal B)$

线性高斯动态模型(Linear Gaussian Dynamic Model)

具有代表性的模型——卡尔曼滤波。
相比于离散状态动态模型，该模型更突出的是线性：隐变量与观测变量均是连续型随机变量。

状态转移概率 $\mathcal P(i_t \mid i_{t-1})$
线性高斯动态模型中隐变量之间服从线性关系，且对应噪声服从高斯分布：
$\begin{aligned} i_t = \mathcal A \cdot i_{t-1} + \mathcal B + \epsilon \quad \epsilon \sim \mathcal N(0,\mathcal Q)\\ \mathcal P(i_t \mid i_{t-1}) \sim \mathcal N(\mathcal A \cdot i_{t-1} + \mathcal B,\mathcal Q) \end{aligned}$
其中 $\mathcal A,\mathcal B$ 表示线性关系的模型参数； $\mathcal Q$ 表示转移过程高斯分布噪声的协方差信息。
发射概率 $\mathcal P(o_t \mid i_t)$