double dqn report

最新推荐文章于 2024-02-22 19:22:33 发布

d3ja-vu

最新推荐文章于 2024-02-22 19:22:33 发布

阅读量3.1k

点赞数 1

分类专栏： drl dqn ml 文章标签： drl dqn ml

本文链接：https://blog.csdn.net/u010214210/article/details/53791315

版权

drl 同时被 3 个专栏收录

1 篇文章 0 订阅

订阅专栏

dqn

1 篇文章 0 订阅

订阅专栏

1 篇文章 0 订阅

订阅专栏

本文深入探讨了Double DQN算法，旨在解决Q-learning中的过度估计问题。通过将选择动作和评估动作的过程分离，使用两个不同的Q网络，Double DQN能够减少过度估计，从而提高学习性能。尽管如此，该方法也可能导致低估问题，引发了对无偏Q-learning的思考。

摘要由CSDN通过智能技术生成

double dqn report

@(paper reading)

Double DQN (https://arxiv.org/abs/1509.06461)

Thrun & Schwartz (1993) 在那个古老的年代就已经指出Q-learning中存在过度估计 (overestimation)问题。因为DQN本质上是基于Q-learning的，那么DQN中也一定存在过度估计的问题，并且一定程度上会影响DQN的性能。

由此，作者提出了Double DQN。由下表可以看到，相比Nature DQN，Double DQN的性能得到了进一步提升。
这里写图片描述

什么是overestimation?

这种现象是由Q-learning中的max操作带来的。

可以通过假设的一个例子来理解这个问题：

假设当前状态下，对于所有动作，它们实际的return value都应当是0。但是因为估计必定存在误差，所以一些动作可能返回正值，而另一些动作可能返回负值 (这里不妨假设为+0.5及-0.5)。Q-learning中用Q function返回估计值，为当前状态下的所有动作计算估计值，并选择拥有最大Q值的动作。那么问题就来了，这个最大值是+0.5，而不是0，并且每一步(在每个状态下)都会出现这个问题。这也就是Q-learning中的overestimation。随着迭代的进行，这种overestimation可能会导致策略逐渐变为一个次优解。

Double DQN

结合double q-learning的目的在于减少overestimation。

其基本思想为：将target Q中选择和评估动作分离，让它们使用不同的Q网络。

nature dqn中 $Y^Q_t \equiv R_{t+1}+\gamma max_aQ(S_{t+1},a;\theta^-_t)$
double dqn中 $Y^{DoubleQ}_t \equiv R_{t+1}+\gamma Q(S_{t+1},argmax_aQ(S_{t+1},a;\theta_t);\theta^-_t)$
其中 $Y_t$ 为target，注意这两者的不同，double dqn中计算target使用了两个不同的 $\theta$ ，分别来自current q-network 以及 target q-network。current q-network负责选择动作，而带有delayed $\theta$ 的target q-network来计算target Q值。
Alt text

因为nature dqn引入了单独的target q-network，等于已经是double q了，所以double dqn在原有的架构上，基本不需要做什么改动。
至于 $\theta^-$ 的更新，文中说 This second set of weights can be updated symmetrically by switching the roles of $\theta$ and $\theta^-$ . 这里应该仍旧指每D步从current Q更新一次。