信息滤波器(Information Filter)的推导过程

信息滤波(Information Filter)的推导过程

本文是Jesse Chen在阅读Information Filter时候所做的笔记，原创。如有转载，请注明出处。谢谢。

介绍

Kalman Filter的对偶形式是信息滤波器(information filter或者IF)。和EKF一样，信息滤波器也是用高斯分布表示置信度(belief)。IF和Kalman Filter的主要区别是表达高斯分布的方式有区别。

在Kalman Filter族的算法中，高斯函数采用它们的矩来表示（均值和协方差）。而Information Filter采用正则参数（信息矩阵和信息向量）表示高斯函数。这两种表示形式互为对偶。

正则参数/Canonical Parameterization

多维高斯的正则参数表示为一个矩阵$\Omega$和一个向量$\mathbf{\xi }$。信息矩阵$\Omega$是协方差矩阵的逆：
$$\Omega ={\Sigma }^{-1}$$
信息向量$\mathbf{\xi }$用矩表示为：
$$\mathbf{\xi }={\Sigma }^{-1}\mathbf{\mu }$$
易知$\Omega$和$\mathbf{\xi }$是高斯概率分布的完备参数。由正则参数推导矩参数的方程如下：
$$\begin{array}{rl}\Sigma & ={\Omega }^{-1}\\ \mu & ={\Omega }^{-1}\mathbf{\xi }\end{array}$$
多维高斯概率分布函数：
$$P\left(\mathbf{x}\right)=\det {\left(2\pi \Sigma \right)}^{-\frac{1}{2}}\exp \left\{-\frac{1}{2}{\left(\mathbf{x}-\mathbf{\mu }\right)}^T{\Sigma }^{-1}\left(\mathbf{x}-\mathbf{\mu }\right)\right\}$$
将$-\frac{1}{2}{\left(\mathbf{x}-\mathbf{\mu }\right)}^T{\Sigma }^{-1}\left(\mathbf{x}-\mathbf{\mu }\right)$展开，可以得到$P\left(\mathbf{x}\right)$的表达式:
$$\begin{array}{rl}P\left(\mathbf{x}\right)& =\det {\left(2\pi \Sigma \right)}^{-\frac{1}{2}}\exp \left\{-\frac{1}{2}{\mathbf{x}}^T{\Sigma }^{-1}\mathbf{x}+{\mathbf{x}}^T{\Sigma }^{-1}\mathbf{\mu }-\frac{1}{2}{\mathbf{\mu }}^T{\Sigma }^{-1}\mathbf{\mu }\right\}\\ & =\underset{\text{const.}}{\underbrace{\det {\left(2\pi \Sigma \right)}^{-\frac{1}{2}}\exp \left\{-\frac{1}{2}{\mathbf{\mu }}^T{\Sigma }^{-1}\mathbf{\mu }\right\}}}\exp \left\{-\frac{1}{2}{\mathbf{x}}^T{\Sigma }^{-1}\mathbf{x}+{\mathbf{x}}^T{\Sigma }^{-1}\mathbf{\mu }\right\}\end{array}$$
标为const的部分和$\mathbf{x}$无关，因此我们可以用$\eta$代替这部分。
$$P\left(\mathbf{x}\right)=\eta \exp \left\{-\frac{1}{2}{\mathbf{x}}^T\Omega \mathbf{x}+{\mathbf{x}}^T\mathbf{\xi }\right\}$$

信息滤波的推导过程

和Kalman滤波器一样，系统的状态转移方程和测量方程如下：
$$\begin{array}{rl}{\mathbf{x}}_t& =A_t{\mathbf{x}}_{t-1}+B_t{\mathbf{u}}_t+{\mathbf{\epsilon }}_t\\ {\mathbf{z}}_t& =C_t{\mathbf{x}}_t+{\mathbf{\delta }}_t\end{array}$$
因为信息滤波器是Kalman滤波器的对偶，我们可以从Kalman方程对应到信息滤波器方程。Kalman滤波器方程：
Predict
$$\begin{array}{rl}{\bar{\mathbf{\mu }}}_t& =A_t{\mathbf{\mu }}_{t-1}+B_t{\mathbf{u}}_t\\ {\bar{\Sigma }}_t& =A_t{\Sigma }_{t-1}{A}_t^T+R_t\end{array}$$
Update
K t = Σ