dqn在训练过程中loss越来越大_强化学习(十)--DQN的理解

Q-Learning可以很好的解决迷宫问题，但这终究是个小问题，它的状态空间和动作空间都很小。而在实际的情况下，大部分问题都有巨大的状态空间或动作空间，建立Q表，内存是不允许的，而且数据量和时间开销也是个问题。

NIPS 2013 Playing Atari with Deep Reinforcement Learning

Nature 2015 Human-level Control through Deep Reinforcement Learning

我们可以使用神经网络来表示我们的 Q 函数，每层网络的权重就是对应的值函数，取 4 四帧游戏图像作为 state，输出每个 action 对应的 Q 值。如果我们想要执行 Q 值的更新，或者选择具有最高 Q 值的对应的 action，我们只需经过整个网络一次就能立刻获得任意动作对应的 Q 值。DQN的原始输入为连续的4帧图像，不只使用一帧画面是为了感知环境的动态性。

左图：简单的DQN模型，右图：DeepMind改进的DQN模型

假设一帧图像有84个像素点，那么四帧图像就有84*84*4个像素。每一个像素点的取值是0-255可能，所有的可能性就有256^84*84*4。

DeepMind使用的网络结构如下：

这是一个经典的带有三层卷积层的卷积神经网络，后面跟两个全连接层。注意：这里没有池化层，池化层会让你获得平移不变性，即网络对图像中对象的位置变得不敏感。这对于 ImageNet 这样的分类任务来说是有意义的，但游戏中位置对潜在的奖励至关重要，我们不希望丢失这些信息。

这个网络的输入是4个84 x 84 的灰度游戏屏幕，输出是每个可能的动作对应的 Q 值 （DeepMind 实验玩的游戏是 Atari，对应有 18 种动作）。这成为一个回归任务，可以用简单的平方误差损失进行优化：

对于给定的<s, a, r, s'>，前一算法的 Q表的更新规则应该做如下修改：

1.对当前状态 s 进行一次前馈，获得所有 action 预测的 Q 值。；

2.对下一个状态 s' 进行一次前馈，计算整个网络最大的输出值