[1971] The Optimal Control of Particially Observable Markov Processes over a Finite Horizon

Contribution

This paper demonstrates that, if there are only a finite number of control intervals remaining, then the optimal payoff function is a piecewise-linear, convex function of the current belief.
（注意：这篇文章考虑的是fintie horizon）

Assumption

discrete state, action, observation space, finite horizon

1. the underlying Markov process is a discrete-time finite-state Markov process
2. the number of possible outputs at each observation is finite

Properties of the Model

• 首先来定义POMDP:

$p_{ij}^a$ —— transition function, state $i$ select action $a$, the probability of making transition to state $jd$
$r_{j\theta }^a$ —— observation function, select action $a$, transion to state $j$, the probability of observing $\theta$
$w_{ij\theta }^a$ —— immediate reward of, state $i$ select action $a$, transition to state $j$, observe $\theta$

• 接下来引入information vector

$$\pi =[{\pi }_1,{\pi }_2,...,{\pi }_N]$$ where ${\pi }_i$ is the probability that the current internal state is $i$
(这里感觉information vector就是belief space)

• conclusion: The current information-state vector $\pi$ is a sufficient statistic for the past history of observationsof a POMDP

  Proof:
  首先推导information-state vector的更新公式
  $ϵ(t)$ —— the total available information about the process at the end of control interval $t$
  在每个control interval，我们能获得的唯一信息就是执行的动作$a$和得到的观测$z$， 所以更新公式就是：
  $$ϵ(t)=[a(t),z(t),ϵ(t-1)]$$

  根据information vector的定义：$${\pi }_j(t)=\mathrm{P}\mathrm{r}(s(t)=j|ϵ(t))$$

  结合上面两式和Bayes’ rule，可以得到：$${\pi }_j(t)=\mathrm{P}\mathrm{r}(s(t)=j|a(t),z(t),ϵ(t-1))=\frac{\mathrm{P}\mathrm{r}(s(t)=j,a(t),z(t)=\theta ,ϵ(t-1))}{\mathrm{P}\mathrm{r}(a(t),z(t),ϵ(t-1))}$$ $$=\frac{\mathrm{P}\mathrm{r}(s(t)=j,z(t)=\theta |ϵ(t-1),a(t))\cdot \mathrm{P}\mathrm{r}(ϵ(t-1),a(t))}{\mathrm{P}\mathrm{r}(z(t)|a(t),ϵ(t-1))\cdot \mathrm{P}\mathrm{r}(ϵ(t-1),a(t))}$$ $$=\frac{\mathrm{P}\mathrm{r}(s(t)=j,z(t)=\theta |ϵ(t-1),a(t))}{\mathrm{P}\mathrm{r}(z(t)|a(t),ϵ(t-1))}$$

  把分子扩展到所有$(n-1)$步所有可能的states:
  $${\pi }_j(t)=\sum _i\frac{\mathrm{P}\mathrm{r}(s(t)=j,z(t)=\theta ,s(t-1)=i|ϵ(t-1),a(t))}{\mathrm{P}\mathrm{r}(z(t)|a(t),ϵ(t-1))}$$
  $$=\sum _i\frac{\mathrm{P}\mathrm{r}(s(t-1)=i|a(t),ϵ(t-1))\cdot \mathrm{P}\mathrm{r}(s(t)=j|s(t-1)=i,a(t),ϵ(t-1))\cdot \mathrm{P}\mathrm{r}(z(t)=\theta |s(t)=j,s(t-1)=i,a(t),ϵ(t-1))}{\mathrm{P}\mathrm{r}(z(t)|a(t),ϵ(t-1))}$$

  上式分子中，第二项是transition function, 第三项是observation function。因此，上式可以写为：$${\pi }_j(t)=\frac{r_{j\theta }^{a(t)}{\sum }_i{\pi }_i(t-1)p_{ij}^{a(t)}}{{\sum }_j[r_{j\theta }^{a(t)}{\sum }_i{\pi }_i(t-1)p_{ij}^{a(t)}]}\text{\hspace{1em}(1)}$$

  上面这个式子很重要，其实就是$b(s)$的update rule。上式的一个重要特点是：在$t$计算information vector只需要$t-1$的information vector。因此，$\pi (t-1)$总结了在$t$之前的所有的信息，并且represents a sufficient statistic for the complete past history of the process $ϵ(t-1)$。

  此外，上式是一个continuous-state Markov process的transition function，其中$\pi (t)$是state。对于这个过程来说，上式的分母是transition: $\pi (t-1)\to T(\pi (t-1)|a(t),\theta )$的概率。这是consinuous-state MP的一个特殊情况，因为state是continuous的，但是state transtion probabilities是离散的。

  上面的证明也说明information vector本身的动态行为是一个discrete-time, continuous-state的Markov process. 这是很关键的一点。

  公式（1）定义了information vector的transition function: ${\pi }^{\prime }=T(\pi |a,\theta )=\frac{{\sum }_i{\pi }_i{p}_{ij}^a{r}_{j\theta }^a}{{\sum }_{ij}{\pi }_i{p}_{ij}^a{r}_{j\theta }^a}$，下面用一种特殊的表达方式来阐述这种变换的一些性质：

  用正三角形来表示the space of $\pi$，正三角形内的每一个点表示一个information vector。对于每个information vector $\pi$, 该点到第$i$个顶点的对边的距离表示处在状态$i$的概率（顶点表示概率）。如下图：

  

  所以上面的transition function就可以理解为information space vector中点的变换。此外，每一个observation就对应着一个这样的变换。

• 接下来就是引入$\alpha$-vector

  首先定义value function$V_n(\pi )$——maximum expected reward, $\pi$是the current information vector, $n$是还剩下的control intervals $$V_n(\pi )=\underset{a\in A(n)}{\max }[\sum _{i=1}^{i=N}{\pi }_i\sum _{j=1}^{j=N}{p}_{ij}^a\sum _{\theta }{r}_{j\theta }^a(w_{ij\theta }^a+V_{n-1}(T(\pi |a,\theta )))]$$

  为了简化这个公式，我们接下来定义一个expected immediate reward: $$q_i^a=\sum _{j,\theta }{p}_{ij}^{\theta }{r}_{j\theta }^a{w}_{ij\theta }^a$$
  所以上式可以简化为：$$V_n(\pi )=\underset{a\in A(n)}{\max }[\sum _{i=1}^N{\pi }_i{q}_i^a+\sum _{i,j,\theta }{\pi }_i{p}_{ij}^a{r}_{j\theta }^a{V}_{n-1}(T(\pi |a,\theta ))]\text{\hspace{1em}(2)}$$

  为了将上式写成矩阵的形式，我们定义一个$Pr(\theta |\pi ,a)$：$$V_n(\pi )=\underset{a\in A(n)}{\max }[\pi q^a+\sum _{\theta }Pr(\theta |\pi ,a)T(\pi |a,\theta )]$$

  接下来我们就要引出最重要的结论了：$V_n(\pi )$ is piece-wise linear and convex，可以写成：
  $$V_n(\pi )=\underset{k}{\max }[\sum _{i=1}^{i=N}{\alpha }_i^k(n){\pi }_i]\text{\hspace{1em}(3)}$$
  其中，${\alpha }^k(n)=[{\alpha }_1^k(n),{\alpha }_2^k(n),...,{\alpha }_N^k(n)],k=1,2,...$就是大名鼎鼎的$\alpha$-vector

• $\alpha$-vector的证明

  首先我们假设$V_{n-1}(\pi )$可以被写成$\alpha$-vector的形式，下面我们就只需要证明$V_n(\pi )$也是这种形式就可以了。
  所以， $$V_{n-1}[T(\pi |a,\theta )]=\underset{k}{\max }[\sum _j{\alpha }_j^k(n-1)\frac{{\sum }_i{\pi }_i{p}_{ij}^a{r}_{j\theta }^a}{{\sum }_{ij}{\pi }_i{p}_{ij}^a{r}_{j\theta }^a}]\text{\hspace{1em}(6)}$$

  由上面的图可以看出，如果$V_{n-1}(\cdot )$ is piecewise linear and convex，information vector space可以被划分为a finite set of convex regions seperated by linear hyperplanes such that $V_{n-1}(\pi )=\pi \cdot {\alpha }^k(n-1)$ within a region for a single index $k$。

  为了下面证明的方便，我们定义一个方程——$l(\pi ,a,\theta )$ that is equal to the corresponding $\alpha$-vector index for the region containing the transformed information vector $T(\pi |a,\theta )$, 所以$$V_{n-1}[T(\pi |a,\theta )]=\sum _j{\alpha }_j^{l(\pi ,a,\theta )}(n-1)\frac{{\sum }_i{\pi }_i{p}_{ij}^a{r}_{j\theta }^a}{{\sum }_{ij}{\pi }_i{p}_{ij}^a{r}_{j\theta }^a}\text{\hspace{1em}(4)}$$

  把(3)带入(2)，可以得到：
  $$V_n(\pi )=\underset{a\in A(n)}{\max }[\sum _i{\pi }_i[q_i^a+\sum _{\theta j}{p}_{ij}^a{r}_{j\theta }^a{\alpha }_j^{l(\pi ,a,\theta )}(n-1)]]\text{\hspace{1em}(5)}$$
  接下来证明(5)与(3)具有相同的形式就行。证明过程详见论文。

  结合上面的分析，我们需要注意两点：

  1. 如果$V_{n-1}(\cdot )$的$\alpha$-vector集合已经计算出来了，然后就可以使用(5)和(6)得到Optimal Policy了, 也可以得到the corresponding $\alpha$-vector for any specified informaton vector $\pi$ for the $n$-horizon case。
  2. 使用(5)计算新的$\alpha$-vector时候会产生和每个新的$\alpha$-vector相关的Optimal Policy

Examples

有一台机器里面有两种相同的零件，两个零件的状态相互独立，每一个都对产品出品之前施加操作。我们把这台机器model成一个three-state, discrete-time Markov process。三种状态分别是0，1，2个零件坏了。每个零件有0.1的概率是在产品生产过程中坏了。

在产品的生产过程中，如果有一个零件坏了，那这个产品损坏的概率为0.5。所以，如果在生产之后检查产品的质量，三种状态$[0,1,2]$分别对应的观测到好产品的概率为$[1.0,0.5,0.25]$.

好产品的利润是1，坏产品没有利润。 所以以三种状态$[0,1,2]$开始生产过程（注意在生产过程中零件也可能损坏）的利润的期望是$[0.9025,0.427,0.25]$

动作空间：

1. 直接生产，不检查生产的产品是否损坏
2. 直接生产，以-0.25的cost检查生产的产品的状态
3. 不生产了，检查两个零件，如果有损坏的就替换，替换一个零件的cost是-1，检查两个零件的cost是-0.5
4. 直接替换两个零件，不检查，所以这个动作的cost就是-2

An Algorithm for Computing $V_n(\pi )$

要计算$V_n(\pi )$, 算法的主要任务就是:

1. computing the $\alpha$-vectors
2. the corresponding mapping of these vectors onto the set of actions.

Assume ${\alpha }^k(n-1)$已知, 目标就是计算$${\alpha }^k(n)$$