强化学习系列（九）：On-policy Prediction with Approximation

一、前言

针对 on-policy prediction 问题，用function approximate 估计 state-value function的创新在于：value function 不再是表格形式，而是权重参数为w的数学表达式，即$\hat v(s,\mathbf w) \approx v_\pi(s)$。其中 $\hat v$ 可以是state的线性函数，也可以是一个多层人工神经网络（ANN），也可以是一个决策树。值得注意的是，权重$\mathbf w$的维度小于states 的数目，也就是说，一个权重可以改变多个state 的估计值（estimated value）。

将function approximate 用于强化学习可以解决部分可观测问题（即有部分state 是agent 无法获得的），function approximate 不可以用于基于过去观测来扩展state的问题，在第17章重点讨论。

二、value function Approximation

所有的prediction方法都采用back-up value(或update target)来更新value：

---

对MC（蒙特卡罗）有 $S_t \mapsto G_t$
对TD（0）有 $S_t \mapsto R_{t+1} + \gamma \hat v(S_{t+1},\mathbf w_t)$
对n-step TD 有 $S_t \mapsto G_{t：t+n}$
对 DP（动态规划）有 $s \mapsto E_\pi[R_{t+1} + \gamma \hat v(S_{t+1},\mathbf w_t)|S_t = s]$

---

其中 $s\mapsto u$表示，在状态 s 下对应的update target 为 u。这种更新方式可以看做对value function的一个 desired input-output behavior，即希望state s的估计值（estimated value）接近update target u。其中，value 表中 s的估计值很容易趋近于 u，而其他states的估计值不会发生变化。现在允许采用一种更复杂的更新方式，即在s 上的估计值更新会牵扯到其他states 的估计值更新。这种update target可以类比与机器学习中的标签，这种数据有标签的机器学习方法称为监督学习（supervised learning)，使得输入数据像期望输出数据接近。因此监督学习的方法可以用于强化学习中的value prediction 问题

但大部分监督学习方法都是假设用于训练的数据集（training set）是静态的，即大小是固定的，但对于强化学习问题，其涉及到与环境不断交互，产生新的state，这需要function approximate 的方法可以有效的从递增的训练集中在线学习。另外，强化学习的target function有时候会不断改变，如在control问题中，GPI 过程需要学习当Policy $\pi$ 改变时的 $q_\pi$。即使Policy保持不变，由bootstrapping（步步为营）方法（如TD或DP）生成的target values也是非静态的。如果某些方法不能很轻松的处理非静态问题，就不太适合用于强化学习问题。

三、The Prediction Objective ($\overline {VE}$)

迄今为止，我们没有一个用于明确表示Prediction 问题的指标。在tabular（表格化） 问题中，因为学习得到的value function就直接等于真实的value function，因此不需要明确prediction 的质量。另外，表格化问题中的一个state的value更新不会影响其他state的value更新。

但在运用function approximation 后，一个state的value 更新会影响其他很多states 的value值，这样我们不可能获得每个state 的values的真实值。假设有足够多的state ，数目多余 权重数目，对一个state的准确估计意味着牺牲其他 state 的value估计精度。

我们有责任确定这些state的重要程度，使用一个分布 $\mu(s) \geq 0, \sum _s\mu(s) = 1$ 来表示对每个state value估计误差的重视程度，其中，误差为估计值 $\hat v(s,\mathbf w)$和真实值 $v_\pi(s)$的平方差。此时，prediction的目标为最小化均方根误差$\overline {VE}$:

对episode task 的on-policy而言，$\mu(s)$通常如下面框图所示：

prediction的目标为最小化均方根误差$\overline {VE}$，即找到一个全局最优，使得存在 $\mathbf w *$ 对所有 w w