Q-learning时序差分强化学习算法

Q-learning是基于价值迭代的强化学习算法。

在Q-learning中要定义策略的动作价值函数$Q$,以表示不同状态下不同动作的价值。记策略$\pi$的动作价值函数为$Q^{\pi }(s_t,a_t)$，表示在状态$s_t$下，执行动作$a_t$带来的累积奖励$G_t$的期望值。计算流程如下：

$Q^{\pi }(s_t,a_t)$ = $E[G_T|s_t,a_t]$ = $E[r_t+\gamma r_{t+1}+{\gamma }^2{r}_{t+2}+...|s_t,a_t]$ = $E[r_t+\gamma Q^{\pi }(s_{t+1},a_{t+1})|s_t,a_t]$（公式1）

公式1是马尔科夫决策过程中Bellman方程的基本形式，累积奖励$G_t$的计算，不仅考虑当下时刻$t$的动作$a_t$的奖励$r_t$，还会累积计算对之后决策带来的影响，公式1中的$\gamma$是后续奖励的衰减因子。从公式上看，当前状态的动作价值$Q^{\pi }(s_t,a_t)$，与当前时刻的动作的奖励$r_t$以及下一状态的动作价值$Q^{\pi }(s_{t+1},a_{t+1})$有关，因此，动作价值函数的计算通过动态规划算法实现，但在状态转移未知或大规模问题时不能使用。

Q-learning使用浅层的时序分差采样学习，在计算累积奖励时，基于当前的策略$\pi$预测接下来发生的$n$步操作并计算其奖励值。具体来说，假设在状态$s_t$下选择了动作$a_t$并得到了奖励$r_t$，此时的状态转移到$s_{t+1}$，如果此时的状态策略选择了动作$a_{t+1}$,则$Q^{\pi }(s_t,a_t)$可以表示为：

$Q^{\pi }(s_t,a_t)$=$E_{s_{t+1},a_{t+1}}[r_1+\gamma A^{\pi }(s_{t+1},a_{t+1})|s_t,a_t]$

由于强化学习的目标是求最大的奖励值，因此最优策略${\pi }^{\ast }$对应的动作价值函数$Q^{\ast }(s_t,a_t)$满足：

$Q^{\ast }(s_t,a_t)$=$ma{x}_{\pi }{Q}^{\pi }(s_t,a_t)$=$E_{s_{t+1}}[r_1+\gamma ma{x}_{a_{t+1}}Q(s_{t+1},a_{t+1})|s_t,a_t]$

在更新的时候使用梯度下降方法，并至最终收敛。