机器学习-线性动态系统-卡尔曼滤波

机器学习-线性动态系统-卡尔曼滤波（Kalman Filtering）

Dynamic Model

观测值：设有一系列观测值$y_1,y_2\cdots y_n$,不可以互换顺序，观测之间是相关的，有联系的。

状态空间模型（state-based-model）：引入隐状态$x_1,x_2\cdots x_n$​.在给定系列隐状态的条件下，观测之间变为相互独立

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gCnjpbgV-1636796568836)(C:\Users\nth12\AppData\Roaming\Typora\typora-user-images\image-20211112171837873.png)]

• 绿色的箭头指示了$p(x_t|x_{t-1})--transsisonprob$
• 红色箭头指示了$p(y_t|x_t)--measurementprob,emissionprob$​
• 描述HMM：$p(x_1)--initprob,p(x_t|x_{t-1}),p(y_t|x_t)\forall t$​

离散状态模型(Discrete state Dynamic Model)

• HMM（隐马尔可夫模型）-所有隐状态即$x_t$离散

• $p(x_t|x_{t-1})$由A矩阵给出，其中A矩阵满足
  $$A_{x_{t-1},x_t}=p(x_t|x_{t-1})$$

• $p(y_t|x_t)$​​—任何形式。$y_t$​​可以是离散的，可以是连续的。

• $p(x_1)$由$\pi$向量确定。

线性+高斯噪音模型（Linear Guass Dynamic Model）

• 卡尔曼滤波

• $p(x_t|x_{t-1})$转移概率不能用矩阵表示，使用函数表示
  $$p(x_t|x_{t-1})\sim N(A{x}_{t-1}+B,Q)$$

• $p(y_t|x_t)$也是线性的，使用函数表示:
  $$p(y_t|x_t)\sim N(H{x}_{t-1}+C,R)$$

• $p(x_1)\sim N({\mu }_0,{\sigma }_0)$

非线性，非高斯的动态模型

• 粒子滤波

• $p(x_t|x_{t-1})$​任意函数$f(x_{t-1})$

• $p(y_t|x_t)\sim N(H{x}_{t-1}+C,R)$也是任意函数

• $p(x_1)$​也是任意函数

基本任务

• eval:求解$p(y_1,y_2,\cdots y_n)$​
• parameter learning:$argma{x}_{\theta }logp(y_1,\cdots y_n|\theta )$
• state decoding:$argma{x}_{x_1,x_2\cdots x_n}p(x_1,x_2\cdots x_n|y_1,y_2,\cdots y_n)$​
• filtering:求解$p(x_t|y_1\cdots y_t)$

卡尔曼滤波

动机

• 飞机、雷达的实时定位和参数测量都受到各种各样的随机干扰，要想正确的得到实时状态参数，只能根据观测到的信号
  来预测真实状态
• 最优估计问题：希望估值误差尽可能小，产生了最优估计问题
• 目标：无偏性，估计方差最小，实时性

概述

• 转移概率$p(x_t|x_{t-1})=N(A{x}_{t-1}+B,Q)$

  • 这等价于:$p(x_t|x_{t-1})=A{x}_{t-1}+B+w$,其中$w\sim N(0,Q)$

• measurement prob:$p(y_t|x_t)=N(H{x}_t+C,R)$

  • 这等价于:$p(y_t|x_t)=H{x}_t+C+V,V\sim N(0,R)$

• 所以其中的参数有:A,B,Q,R,C,H;

• 现在假设$A=I$​,$B=(2,2{)}^T$​

  • $p(y_t|x_t)=I{x}_t+V,V\sim N(0,I)$
  • $p(x_t|x_{t-1})=I{x}_{t-1}+(2,2{)}^T+w$,$w\sim N(0,I)$
  • 假设$x_1=(0,0{)}^T$
  • 则$x_2$的位置为以(2,2)为中心的，I为方差的范围内。
    • 其中$x_2$位于$(2,2)$的概率密度是最大的，因为$w=0$的对应概率密度最大。
    • 再由式子$p(y_2|x_2)$确定$y_2$的取值，$y_2$取值范围为$x_2$​为中心，方差为I的高斯分布。
  • 现在欲求解的问题是，我们观测到了$y_1,y_2\cdots y_t$​,欲求$p(x_t|y_1\cdots y_t)$​

• 物体运动的实例：设一小车在直线上运动，其加速度$a\sim N(0,\sigma )$

  • 这里的$y_t$在t时刻的位置（数轴上的位置坐标）
  • 状态向量${\overline{x}}_t=(x_t,x_t^{,}{)}^T$,(与前面的向量进行区分)其中前一个分量表示汽车的真实位置，后一个分量表示汽车的真实速度
  • 则有:$x_t=x_{t-1}+x_{t-1}^{,}\Delta t+\frac{1}{2}a\Delta t^2$​,$x_t^{,}=x_{t-1}^{,}+a\Delta t$​.使用这两个等式来表示卡尔曼滤波中的参数。​

基本假设

方程
$$\begin{gathered} x_k=A{x}_{k-1}+B{u}_{k-1}+q_{k-1} \\ {y}_k=H{x}_k+r_k \end{gathered}$$

• 其中$x_k$是k时刻系统的状态；$y_k$是k时刻系统的测量值。$u_k$是k时刻对系统的控制量

• A,B是系统参数，对于多模型系统，他们为矩阵；

• H为测量系统的参数，对于多测量系统，H为矩阵

• $q_k$和$r_k$表示过程和测量的噪声。

  • 被假设称高斯白噪声（$whiteguassnoise$）,协方差矩阵分别为$Q,R$

  • 假设他们不随系统状态的变化而变化

  • 高斯白噪声：功率谱密度服从均匀分布，幅度服从高斯分布

  • 若N(t)为一个具有零均值的平稳随机过程，其功率谱密度均匀分布在$-\infty ,+\infty$ 的整个频率区间，即
    $$S_N(\omega )=\frac{1}{2}{N}_0$$
    其中$N_0$为一正实数。

  

• 以最小均方误差为估计的最佳准则
• 利用前一时刻的估计值和现时刻的观测值来更新对状态变量的估计

原理推导

设线性系统的状态方程为
$$x_k=A{x}_{k-1}+B{u}_{k-1}+q_{k-1}$$

• 其中$x$为系统的状态变量，大小为$(n,1)$​。
• A为转换矩阵，维度为(n,n)。
• u为系统输入，维度为(k,1).
• B是将输入转换为状态的矩阵，维度为(n,k)。
• q为随机变量，系统噪声。假设服从分布$q\sim N(0,Q)$​

在概率论中，前面预测的结果称为先验，后面测量出的结果称为后验。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LqqOrZWW-1636796568843)(C:\Users\nth12\AppData\Roaming\Typora\typora-user-images\image-20211112162753126.png)]

测量值为后验，给出的公式为
$$z_k=H{x}_k+r_k$$
其中$z_k$​​的维度为(m,1),矩阵H的维度为(m,n)，随机变量r为测量噪声,$r\sim N(0,R)$,且与Q互相独立。

存中…(img-LqqOrZWW-1636796568843)]

测量值为后验，给出的公式为
$$z_k=H{x}_k+r_k$$
其中$z_k$​​的维度为(m,1),矩阵H的维度为(m,n)，随机变量r为测量噪声,$r\sim N(0,R)$,且与Q互相独立。