强化学习：Sarsa与Q-learning之间的关系

Sarsa算法

在给定环境的起始状态s，并且初始化策略${\pi }^{ϵ-greedy}$和Q值后，agent使用该策略与环境交互，产生动作a、新状态s’和奖励回馈r：
$$\begin{gathered} a={\pi }^{ϵ-greedy}(s) \\ {s}^{\prime },r=environment(a) \end{gathered}$$
在状态s’上再根据策略${\pi }^{ϵ-greedy}$选择动作a’：
$$a^{\prime }={\pi }^{ϵ-greedy}(s^{\prime })$$
从而生成序列信息段$<s,a,r,s^{\prime },a^{\prime }>$。根据下式对状态动作对$<s,a>$的Q值进行更新：
$$Q(s,a)=Q(s,a)+\alpha (r+\gamma Q(s^{\prime },a^{\prime })-Q(s,a))$$
再根据下式对策略$\pi$进行改进：
$$\pi (s)=\{\begin{array}{l}argma{x}_{a^{\prime \prime }}(Q(s,a^{\prime \prime })),以概率1-ϵ\\ 随机选取动作,以概率ϵ\end{array}$$
再在$<s^{\prime },a^{\prime }>$的基础上执行以上过程，基本遵循的就是从策略改进到策略评估的不断循环。

Q-learning算法

在给定环境的起始状态s，并且初始化策略$\pi$和Q值后，agent在该策略中引入$ϵ-greedy$，并与环境交互，产生动作a、新状态s’和奖励回馈r：
$$\begin{gathered} a={\pi }^{ϵ-greedy}(s) \\ {s}^{\prime },r=environment(a) \end{gathered}$$
再关闭$ϵ-greedy$，根据原策略在状态s’上时选择动作a’：
$$a^{\prime }=\pi (s^{\prime })$$
从而生成序列信息段$<s,a,r,s^{\prime },a^{\prime }>$。根据下式对状态动作对$<s,a>$的Q值进行更新：
$$Q(s,a)=Q(s,a)+\alpha (r+\gamma Q(s^{\prime },a^{\prime })-Q(s,a))$$
再根据下式对策略$\pi$进行改进：
$$\pi (s)=argma{x}_{a^{\prime \prime }}(Q(s,a^{\prime \prime }))$$
再在$<s^{\prime },a^{\prime }>$的基础上执行以上过程，不断循环。

关系

Q-learning算法衍生自Sarsa，但是在策略评估和策略改进时的策略并不相同。Q-learning算法的出发点是：策略上引入$ϵ-greedy$是为了更好地评估策略本身，而不是为了最终使用，假设对所有的Q值评估精确了，策略在探索和利用中应该是完全倾向于利用的。因此Q-learning算法在评估采样时引入$ϵ-greedy$，在改进策略时关闭$ϵ-greedy$。