double-dqn是dqn比较著名的变种,他主要解决的一个问题是在之前的DQN公式中,我们用网络估计出来的Q值比Q值的实际值要高很多,也就是著名的过估计问题。
先说一下什么是过估计,看过张斯俊大神这一篇的就会知道
https://zhuanlan.zhihu.com/p/109498587
Q值最最最保真的值,也就是他的定义式,应该是由这个动作引发的直接一步后续所有可能状态的期望,但是我们不可能说等到所有状态都迭代好了以后再去求这个Q值。
所以在Q-Learning阶段我们就选用了下一个state最大Q值的那个动作来更新Q表,这也就是为啥会产生过估计。
也就是说这个过估计其实是Q-Learning带给它的,double-dqn做的是一个事情是它用target来求Q值,但这个选择的动作不由Q-target给,他由那个在实时学习的网络来给出Q值最大的动作,用Q-Target给出Q值,这样做的好处是经过迭代学习以后,Q-target和Q-估计选出的动作不是同一个动作,那么就一定概率上降低了过估计的问题。
Double-DQN笔记
最新推荐文章于 2024-04-14 11:01:28 发布