Sequential Monte Carlo Methods (SMC) 序列蒙特卡洛/粒子滤波/Bootstrap Filtering

Problem Statement

我们考虑一个具有马尔可夫性质、非线性、非高斯的状态空间模型(State Space Model)：对于一个时间序列上的观测结果 { y t , t ∈ N } \{ y_t , t \in N \} { yt​,t∈N}，我们认为每个观测结果$y_t$的生成依赖于一个无法直接观察的隐变量 x t ∈ { x t , t ∈ N } x_t \in \{x_t , t \in N \} xt​∈{ xt​,t∈N}，即：$p(y_t|x_t),t\in [1,N]$；我们假设隐变量具有一个先验的状态转移函数$p(x_t|x_{t-1}),t\in [1,N]$，若给定一个初始分布$p(x_0)$，那么这个模型就能由这三个参数描述：$p(x_0),p(x_t|x_{t-1}),p(y_t|x_t)$。这里，我们定义到时间$t$的观察序列： x 0 : t = { x 0 , … , x t } \mathbf{x_{0:t}}=\{ x_0, \dots, x_t\} x0:t​={ x0​,…,xt​}和对应的隐变量序列 y 1 : t = { y 1 , … , y t } \mathbf{y_{1:t}}=\{ y_1, \dots, y_t\} y1:t​={ y1​,…,yt​}。

我们关心如何根据当前的观测序列来推断(infer)隐变量序列，即估计一个后验概率分布$p({\mathbf{x}}_{0:\mathbf{t}}|{\mathbf{y}}_{1:\mathbf{t}})$，和它的边缘概率分布：$p(x_t|{\mathbf{y}}_{1:\mathbf{t}})$ (这里通常被称为滤波, filtering) ，以及它对于某个函数$f_t$的期望：
$$I(f_t)={\mathbb{E}}_{p({\mathbf{x}}_{0:\mathbf{t}}|{\mathbf{y}}_{1:\mathbf{t}})}{f}_t({\mathbf{x}}_{0;\mathbf{t}})=\int p({\mathbf{x}}_{0:\mathbf{t}}|{\mathbf{y}}_{1:\mathbf{t}})f_t({\mathbf{x}}_{0;\mathbf{t}})d_{{\mathbf{x}}_{1:\mathbf{t}}}$$

在任何时间$t$，我们可以推导$p({\mathbf{x}}_{0:\mathbf{t}+1}|{\mathbf{y}}_{1:\mathbf{t}+1})$和$p({\mathbf{x}}_{0:\mathbf{t}}|{\mathbf{y}}_{1:\mathbf{t}})$之间的关系：
$$\begin{array}{rl}p({\mathbf{x}}_{0:\mathbf{t}+1}|{\mathbf{y}}_{1:\mathbf{t}+1})& =\frac{p({\mathbf{x}}_{0:\mathbf{t}+1},{\mathbf{y}}_{1:\mathbf{t}+1})}{p({\mathbf{y}}_{1:\mathbf{t}+1})}\\ & =\frac{p({\mathbf{x}}_{0:\mathbf{t}+1},y_{t+1}|{\mathbf{y}}_t)p({\mathbf{y}}_{1:\mathbf{t}})}{p({\mathbf{y}}_{1:\mathbf{t}+1})}\\ & =p({\mathbf{y}}_{1:\mathbf{t}},y_{t+}\\ & \\ & \end{array}$$