干货 | 140页《深度强化学习入门》PDF版下载！

深度强化学习已经为围棋、视频游戏和机器人等领域带来了变革式的发展，成为了人工智能领域的一大主流研究方向。麦吉尔大学、谷歌大脑和 Facebook 的多位研究者在 arXiv 发布了 140 页的《深度强化学习入门》文稿，对深度强化学习的当前发展和未来趋势进行了系统性的总结和介绍。本书是伯克利知名机器学习专家 Michael Jordan 教授主编的「机器学习基础与趋势」系列丛书中最新加入的一本。小编摘取翻译了其中部分内容以呈现本书的结构脉络，更多内容请查阅原文。

PS：文末获取方式！

 

1 引言

 

1.1 动机

 

机器学习领域的一大核心主题是序列决策。该任务是在不确定的环境中根据经验决定所要执行的动作序列。序列决策任务涵盖种类广泛的潜在应用，有望对很多领域产生影响，比如机器人、医疗保健、智能电网、金融、自动驾驶汽车等等。

 

受行为心理学的启发（如 Sutton, 1984），研究者为这一问题提出了一种形式框架，即强化学习（RL）。其主要思想是人工智能体（agent）可以通过与其环境（environment）进行交互来学习，这类似于生物智能体。使用收集到的经历（experience），人工智能体可以根据某种形式的累积奖励（reward）来优化某些目标（objective）。原则上而言，这种方法可应用于任何类型的依赖于过去经历的序列决策问题。对于这样的任务，环境可能是随机的；智能体可能仅能观察有关当前状态的部分信息；观察结果可能是高维的（比如帧和时间序列）；智能体可能会自由地在环境中收集经历；或者相反，数据可能会有所限制（比如，没有准确的模拟器或数据有限）。

过去几年来，由于在解决高难度序列决策问题上所取得的成功，强化学习越来越流行。其中多项成果可归功于强化学习与深度学习技术（LeCun et al., 2015; Schmidhuber, 2015; Goodfellow et al., 2016）的组合。这一组合也被称为「深度强化学习」，在具有高维状态空间的问题中最有用。之前的强化学习方法在特征选择上存在一个困难的设计问题（Munos and Moore, 2002; Bellemare et al., 2013）。但是，由于深度强化学习能够从数据中学到不同层面的抽象，因此其也已经在具有更少先验知识的复杂任务中取得了成功。比如，深度强化学习智能体可以成功学习由成千上万像素构成的视觉感官信号输入（Mnih et al., 2015）。这使得其有可能模拟人类解决问题的某些能力，即使是在高维空间也可以——这在几年前还是难以想象的。

 

深度强化学习在游戏领域有一些非常突出的成果，包括使用像素输入在 Atari 游戏上达到了超越人类玩家的水平（Mnih et al., 2015）、掌握了围棋（Silver et al., 2016a）、在扑克游戏上击败了顶级职业玩家（Brown and Sandholm, 2017; Moravčik et al., 2017）。深度强化学习也有应用于现实世界应用的潜力，比如机器人（Levine et al., 2016; Gandhi et al., 2017; Pinto et al., 2017）、自动驾驶汽车（You et al., 2017）、金融（Deng et al., 2017）和智能电网（François-Lavet, 2017）。尽管如此，应用深度强化学习算法还面临着一些难题。其中，有效地探索环境以及在稍有不同的环境中泛化出优良行为的能力还不能轻松地获得。因此，根据各种不同的序列决策任务设定࿰