Hi,这是第一篇算法简介呀
论文链接: “Human-level control through deep reinforcement learning”,2013.
文章概述
本文首次提出了一种深度学习模型,利用强化学习的方法,直接从高维的感知输入中学习控制策略。
DL算法需要大量手工标记数据,而RL中从输入到获得reward信号存在稀疏、有噪声和延迟的问题。DL算法假设data是独立的;而在RL中data的关联度较高,改变数据分布后,RL可以学习到新行为。
本文提出的模型可以克服以上挑战。该网络使用Q-learning的变体,采用随机梯度下降法更新weights,使用经验回放机制解决数据相关性问题和非平稳分布问题。
- replay memory
存储每个时间步 t t t的agent的经验 e t = ( s t , a t , r t , s t + 1 ) e_t=(s_t,a_t,r_t,s_{t+1}) et=(st,at,rt,st+1)。每步经验可以用于多次weights更新,提高数据利用效率。 - 网络结构设计
(我理解的简图)
(p.s.每个可能的action对应一个独立的output unit)
- Target网络
用于固定参数。每隔一定episode与Main网络同步权重。
公式理解
- 未来折扣回报
R t = ∑ t ′ = t T γ t ′ − t r t ′ R_t=\sum_{t'=t}^T \gamma^{t'-t}r_{t'} Rt=