Incremental multi-step Q-learning 笔记

前言

这篇文章介绍了Q(lambda)算法。资格迹这类算法网上有很多资料，但大都是sutton书里的，看完往往不知道怎么结合到深度里，特别是TD(lambda)。这篇文章里有一些化简得到的公式，借助它们可以方便地在深度里实现TD(lambda)和Q(lambda)。此博客也相当于在介绍资格迹。

此文章作者2014年在researchgate上传了一个，相比1996年的内容略有出入，本文结合了两篇并对部分证明进行了补充

$TD(\lambda )$

$TD(\lambda )$ return估计过程被广泛用于actor-critic。参数$\lambda$被用于在动作序列上分配信度，加快学习，也有助于减轻粗糙的状态空间量化的非马尔可夫效应。

基于直接动态规划的强化学习算法基于根据经历的状态转移的状态值或状态动作值的更新。每个此类更新又基于对要更新值的估计器特定选择的使用，这也阐明了各种学习方法之间的差异。

这里使用$x_t$表示时间步$t$的状态，$r_t$是执行动作$a_t$的到的奖赏，带折扣的return为：
$${\mathbf{r}}_t=r_t+\gamma r_{t+1}+\cdots +{\gamma }^n{r}_{t+n}+\cdots$$

状态值$V^{\pi }(x)$就是从状态$x$开始根据策略$\pi$执行动作的期望return。策略最优时，使用$V^{\ast }$标记。

$TD(\lambda )$估计器就是一种给定策略估计V值的方法。${\mathbf{r}}_t^{(n)}$表示修正的n-step截断的return：
$${\mathbf{r}}_t^{(n)}=r_t+\gamma r_{t+1}+\cdots +{\gamma }^{n-1}{r}_{t+n-1}+{\gamma }^n{\hat{V}}_{t+n}^{\pi }(x_{t+n})$$
其中 V ^ t π \hat{V}^{\pi}_{t}