关于时间的不确定性推理

时间与不确定性

基本思想：按照自然的时序顺序对变量进行排序，按因果次数添加变量，记录每个时间片的观测预证据。

困难：变量集合是无界的，因为它需要包含全部时间片的状态与证据

Markov过程

一阶马尔科夫：当前状态只与上一个状态有关；
二阶马尔科夫：当前状态与上两个状态有关；
传感器模型：当前状态只与自己有关

马尔科夫过程中除了转移模型和传感器模型之外，还需要指定0时刻的先验概率$P(X_0)$, 一个稳态Markov过程的所有变量上的完整的联合概率分布为：
$$\begin{gathered} P(X_0,X_1,...,X_t,E_1,...,E_t) \\ =P(X_0)\prod P(X_i|X_{i-1})P(E_i|X_i) \end{gathered}$$
$P(E_i|X_i)$是传感器模型 $P(X_i|X_{i-1})$ 是转移模型

下面是一个例子：

这是一个一阶的Markov过程，通过这个把整个联合概率分布表示成上图的样子。

但是一阶Markov过程不精确，可以通过以下方式弥补：
1、提高Markov过程结数；
2、扩大状态变量集合

推理任务

• 滤波：$P(X_t|e_{1:t})$ ：一个信任状态 – 输入与其有关的决策过程，给定目前已有的证据，估计当前状态的后验概率分布
• 预测：$P(X_{t+1}|e_{1:t})$对所有的$k>0$ ： 给定目前为止的所有证据，计算未来状态的后验概率。
• 平滑：$P(X_k|e_{1:t})$对所有的$0\ge k<t$：给定目前已有的证据，估计过去某一状态的后验概率分布
• 最可能解释：给定观察序列，找到最可能生成这些观察结果的状态序列
  

滤波

目的：为了设计一个递归的状态估计算法
$P(X_{t+1}|e_{1:t+1})=f(e_{t+1},P(X_t|e_{1:t}))$ : 通过前一个状态得到的

$$\begin{gathered} P(X_{t+1}|e_{1:t+1}) \\ =P(X_{t+1}|e_{1:t},e_{t+1})(证据分解） \\ =(P(e_{t+1}|X_{t+1},e_{1:t})\ast P(X_{t+1},e_{1:t}))/P(X_{t+1},e_{1:t})（因为e_{t+1}只与当前状态有关） \\ =a\ast P(e_{t+1}|X_{t+1})P(X_{t+1}|e_{1:t})--(3) \end{gathered}$$
这里的a是归一化常数，保证所有的概率和为1.
上述式子中的第三行前面一项表示修正，后面一项表示预测，预测结果使用$X_t$加和得到。

接下来展示如何计算$P(X_{t+1}|e_{1:t+1})$
$$\begin{gathered} P(X_{t+1}|e_{1:t+1}) \\ =a\ast P(e_{t+1}|X_{t+1})P(X_{t+1}|e_{1:t}) \end{gathered}$$

$$\begin{gathered} P(X_{t+1}|e_{1:t}) \\ =\frac{P(X_{t+1},e_{1:t})}{P(e_{1:t})} \\ =\frac{{\sum }_{x_t}P(X_{t+1},x_t,e_{1:t})}{P(e_{1:t})} \\ =\frac{{\sum }_{x_t}P(X_{t+1}|x_t,e_{1:t})P(x_t,e_{1:t})}{P(e_{1:t})} \\ =\frac{{\sum }_{x_t}P(X_{t+1}|x_t,e_{1:t})P(x_t|e_{1:t})P(e_{1:t})}{P(e_{1:t})} \\ ={\sum }_{x_t}P(X_{t+1}|x_t,e_{1:t})P(x_t|e_{1:t}) \end{gathered}$$
这里的$x_t$表示的是$x_t$这个时刻的各种状态，而不是1：t，我们可以认为滤波估计是沿着序列向前转播的“消息”$f_{1:t}$。他在每次转移时得到修正，并根据每个新的观察进行更新：
$f_{1:t+1}=a\ast FORWARD(f_{1:t},e_{t+1})$

以上的滤波过程包括推理和验证，下面是一个例子：

模拟上面的滤波过程：

• 在第零天，观察还没开始，只有先验信息，假设$P(R_0)=<0.5,0.5>$
• 在第一天，出现了雨伞，所以$U_1=true$，从$t=0$到$t=1$的预测结果为：
  $$\begin{gathered} P(R_1)={\sum }_{r_0}P(R_1|r_0)P(r_0) \\ =<0.7,0.3>\ast 0.5+<0.3,0.7>\ast 0.5 \\ =<0.5,0.5> \end{gathered}$$

然后使用t+1时刻的证据对预测结果进行验证：
$$\begin{gathered} P(R-1|u_1) \\ =aP(u_1|R_1)P(R_1) \\ =a<0.9,0.2><0.5,0.5> \\ =a<0.45,0.1> \\ \approx <0.818,0.182> \end{gathered}$$

• 在第二天，又出现了雨伞，所以$U_2=true$，由$t=1$到$t=2$的预测结果为：
  $$\begin{gathered} P(R_2|u_1) \\ ={\sum }_{r_1}P(R_2|r_1)P(r_1|u_1) \\ =<0.7,0.3>\ast 0.818+<0.3,0.7>0.812 \\ \approx <0.627,0.373> \end{gathered}$$

根据$t=2$时刻的证据进行更新，可得到:
$$\begin{gathered} P(R_2|u_1,u_2) \\ =aP(u_2|R_2)P(R_2|u_1) \\ =a<0.9,0.2><0.627,0.373> \\ \approx <0.883,0.117> \end{gathered}$$

预测

预测可以认为是没有增加新证据的条件下的滤波：

就是只使用前1：t步的证据来推测后面的概率，根据t+k时刻就能推测t+k+1时刻的状态。我们对越来越远的未来进行会收敛到一个不动点，也就是转移模型所定义的马尔科夫过程的稳态分布。转移模型中的不确定性越多，混合时间就越短，未来就越模糊，对证据序列$P(e_{1:t})$的似然的计算可以采用类似的递归方式：

平滑

平滑是给定直到现在的已知证据，来计算过去的状态的分布过程：也就是对于$0\le k<t$计算$P(X_k|e_{1:t})$。

寻找最可能序列（Most likely explanation）

假设$[true,true,false,true,true]$是警卫观察到的前5天的雨伞序列，要我们解释最近嗯呢个的天气序列是什么，现在我们可以选择的天气序列共有$2^5$个，是否有方法能直接找到这个序列而不用枚举呢？

上面是一个错误的想法，因为我们最后要找的是联合概率分布，上述做法变成单个时间步上的条件概率。

正确做法：采用Viterbi算法。
这个方法其实跟寻找最短路是一样的，递归寻找使得当前路径得到反馈最大的路，因为当前节点只与前一个节点有关，所以只要算出前一个节点沿哪条路转移到当前节点就行了，如下，其实也是一个马尔科夫过程。

最可能世界是在已知证据条件，所有查询变量的联合分布
假设我们已知$e_{1:t+1}$ ，求$maxP(x_1,x_2,...,x_{t+1}|e_{1:t+1})$这个公式可以如下展开：

$$\begin{gathered} maxP(x_1,x_2,...,x_{t+1}|e_{1:t+1}) \\ =\alpha \ast P(e_{1:t+1}|X_{t+1})ma{x}_{xt}(P(X_{t+1}|x_t)ma{x}_{x_{1:t}}P(x_{1:t}|e_{1:t})) \end{gathered}$$

由于初始状态没有证据，所以第一天要用滤波。