Human-level control through deep reinforcement learning-2015 DQN论文研读

Human-level control through deep reinforcement learning-2015 DQN论文研读

DQN是强化学习的代表算法之一，它的原文是发表在Nature上的Human-level control through deep reinforcement learning，本篇博客主要从论文出发，介绍DQN的背景、算法要点、以及实验效果。

一、解决问题

本文主要解决了在高维输入下如何利用结合深度神经网络的强化学习打Atari游戏，从而让agent控制目标使得分最高。一个agent可以挑战多种游戏。

传统方法或者过去强化学习研究的局限：要手工提取特征；应用领域局限于完全可观测并且低维度的状态空间。

实验部分将之前文献[1]中的7个Atari游戏扩展到49个游戏中，其中29个效果超过人类水平。

二、强化学习基础

强化学习是与监督学习、非监督学习并列的第三种学习方法。它通过与环境的交互学习到最大化奖励的动作选择策略。

强化学习基本要素

1. 环境状态$S$：$t$ 时刻环境的状态 $S_t$ 是它的环境状态集中某一个状态。
2. Agent的动作$A$：$t$ 时刻个体采取的动作 $A_t$ 是它的动作集中某一个动作。
3. 环境的奖励$R$：$t$ 时刻Agent在状态 $S_t$ 采取的动作 $A_t$ 对应的奖励$R_{t+1}$会在$t+1$时刻得到。
4. Agent策略$\pi$：采取动作的依据，Agent会根据策略来选择动作。分为确定性策略$A=\pi (s)$与随机性策略$\pi (a|s)=P(A_t=a|A_t=s)$
5. 状态价值与动作价值：
   状态价值：Agent在策略$\pi$和状态$s$时，采取动作后的价值（value），一般用$v_{\pi }(s)$表示：
   $$v_{\pi }(s)=E_{\pi }[G_t|S_t=s]=E_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s]$$
   动作价值：Agent在策略$\pi$和状态$s$时，采取动作$a$后的价值，用$q_{\pi }(s,a)$表示：
   $$\begin{array}{rl}{q}_{\pi }(s,a)& =E_{\pi }[G_t|S_{}\\ & \end{array}$$