8. 图解Q-learning与深度强化学习DQN

14. 图解Q-learning与深度强化学习DQN

我们提出了第一个深度学习模型，使用强化学习成功地学习了直接从高维感官输入的控制策略。该模型是一个卷积神经网络，用Q学习的一个变体进行训练，其输入是原始像素，其输出是一个估计未来奖励的值函数。我们将我们的方法应用于来自Arcade学习环境中的7款雅达利2600游戏，而没有调整架构或学习算法。我们发现它在其中六款游戏上优于之前的所有方法，在其中三款游戏上也超过了人类专家。

14.1.深度学习和强化学习简介

1. 两者结合的动机和挑战

强化学习在高维问题上存在的问题：为了在接近现实世界复杂性的情况下成功地使用强化学习，智能体面临着一项艰巨的任务：他们必须从高维感官输入中获得环境的有效表征，并利用这些经验将过去的经验概括到新的情况下。学习直接从视觉和语音等高维感官输入中控制智能体，是强化学习（RL）长期以来面临的挑战之一。在这些域上运行的大多数成功的RL应用程序都依赖于人工设定的特征，并结合了线性值函数或策略表示。显然，这类系统的性能在很大程度上依赖于特征表示的质量。

人类和其他动物似乎通过结合强化学习和层次感觉处理系统解决这个问题，前者证明了丰富的神经数据揭示了多巴胺能神经元产生的相位信号和时序差