DQN算法

DQN

Q-learning状态空间和动作空间都很小。
实际情况中，大部分问题都有巨大的状态空间和动作空间，建立Q表，内存是不允许的，而且数据量和时间开销都是个问题。
采用神经网络来表示Q函数，每层网络的权重对应的就是值函数。

DQN对Q-learning的修改主要体现在三个方面：
(1)DQN利用深度卷积神经网络逼近值函数
(2)DQN利用经验回放来训练强化学习的学习过程
深度神经网络作为有监督学习模型，要求满足数据独立同分布，通过强化学习采集的数据之间存在关联性，利用这些数据进行寻览，神经网络表现不稳定，而经验回放可以打破数据之间的关联。
在强化学习过程中，智能体将数据存储到一个数据库中，再利用均匀随机采样的方法从数据库中抽取数据，然后再利用抽取的数据训练神经网络。
(3)DQN独立设置了目标网路来单独处理时间差分算法中的偏差