经验池作用:深度学习要求输入数据独立同分布,使用经验池可以使状态间相互独立
目标值网络作用:计算网络目标值需要用到现有的Q值,用一个更新较慢的网络专门提供此Q值,进而提高训练的稳定性和收敛性,而原网络的Q值仅用于动作选择和更新参数
DQN:只有一个网络
Nature DQN:用目标网络计算目标值y
Double DQN:因真实策略具有随机性,因此上图max操作使估计值函数比真实值函数大,故应将动作的选择和动作的评估分开,即使用原网络现在获得最大值函数的行为,使用目标网络获得上面行为a的评估值y,公式描述如下: