浅谈强化学习中的函数估计问题 - Function Approximation in RL

下面我们简单讨论下强化学习中的函数估计问题，这里对于强化学习的基本原理、常见算法以及凸优化的数学基础不作讨论。假设你对强化学习（Reinforcement Learning）有最基本的了解。

概述

对于状态空间为连续空间的强化学习问题，我们需要利用函数估计的方法表示各种映射关系。函数估计方法可分为参数估计和非参数估计，其中参数化估计又分为线性参数化估计和非线性参数化估计。本文中我们主要讨论参数化估计。对于基础较薄弱读者，可以参考这篇更基础的文章。

价值函数估计

价值函数估计的过程可以看作是一个监督学习的过程，其中数据和标签对为 $(S_{t}, U_{t})$ 。训练的目标函数为：

$$\arg\min_{\theta}(q(s,a)-\hat{q}(s,a,\theta))\quad \text{or} \quad \arg\min_{\theta}(v(s)-\hat{v}(s,\theta))$$

增量式/梯度下降方法

梯度下降的基本原理可以参考凸优化问题中的无约束规划方法。这里我们要求估计偏差最小，因此采用梯度下降方法：

$$\theta_{t+1}=\theta_{t}+\alpha d_{t}$$ 这里 $d_{t}$ 是偏差下降的方向，此处应为 $-\nabla_{\theta}(U_{t}-\hat{v}(S_{t},\theta_{t}))$ 即负梯度方向。代入上式可得：
$$\theta_{t+1}=\theta_{t}+\alpha[U_{t}-\hat{v}(S_{t},\theta_{t})]\nabla_{\theta}\hat{v}(S_{t},\theta)$$ 注意此处 $U_{t}$ 与 $\theta$ 无关，但情况并非总是这样。如果采用蒙特卡罗方法对实验进行采样，即 $U_{t} = G_{t}$ 时，上述公式直接成立；但如果采样 $TD(0)$ 方法采样，由于用到了 bootstrapping，即 $U_{t}=R_{t+1}+\gamma\hat{v}(S_{t+1},\theta)$ ， $U_{t}$ 中也包含 $\theta$。 使用上式忽略了这个影响，因此被称为 部分梯度（semi-gradient）法。

下面讨论线性估计问题，即 $\hat{v}(s,\theta)=\theta^{T}\phi(s)$。常用的线性基函数类型如下：

1. 多项式基函数：$(1,s_{1},s_{2},s_{1}s_{2}, s_{1}^{2},s_{2}^{2},\dots )$
2. 傅里叶基函数：$\phi_{i}(s)=\cos(i\pi s),s\in[0,1]$
3. 径向基函数：$\phi_{i}(s)=\exp\left(-\frac{\|s-c_{i}\|^{2}}{2\sigma_{i}^{2}}\right)$

不同的更新公式如下：

1. 蒙特卡罗方法：$\Delta\theta = \alpha[G_{t}-\theta^{T}\phi(s)]\phi(s)$
2. $TD(0)$方法：$\Delta\theta = \alpha[R+\gamma\theta^{T}\phi(s')-\theta^{T}\phi(s)]\phi(s)$
3. 正向视角的$TD(\lambda)$方法：$\Delta\theta = \alpha[G_{t}^{\lambda}-\theta^{T}\phi(s)]\phi(s)$
4. 反向视角的$TD(\lambda)$方法： $$\begin{split} \delta_{t} &= R_{t+1}+\gamma\theta^{T}\phi(s')-\theta^{T}\phi(s) \\ E_{t}&=\gamma\lambda E_{t-1}+\phi(s) \\ \Delta\theta &= \alpha\delta_{t}E_{t} \end{split}$$

关于这些更新方法的具体含义可以参考这篇文章。

批处理方法

批处理方法的计算比较复杂，但是计算效率高。批处理方法是指给定经验数据集 $D=\{(s_{1},v_{1}^{\pi}), (s_{2},v_{2}^{\pi}),\dots, (s_{T},v_{T}^{\pi}) \}$，找到最好的拟合函数 $\hat{v}(s,\theta)$ 使得