【文章阅读】连续空间增量式RL(策略松弛和加权权重)

Brief

文章链接 paper
代码链接 code
这是一篇19年发表在 IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS （一区）的论文，作者来自南京大学。从标题可以看出文章研究的内容是连续空间的增量式强化学习，研究方法是***Policy Relaxation***和 Importance Weighting。

Abstract

文章提出了一种系统的增量学习方法，用于动态环境中连续空间的强化学习。
目标：在环境发生变化时，将原来环境中已经学到的策略进行增量式调整到新的策略。
方式方法：为了提高对不断变化的环境的适应性，提出了结合增量式学习过程的两步解决方案：策略松弛和重要性加权。

First：在初始学习阶段将行为策略放宽为随机策略，以鼓励在新环境中进行适当的探索。它缓解了新信息和现有知识之间的冲突，以便在长期内更好地适应。
Second：观察到获得更高回报的episodes更符合新的环境，因此包含更多的新信息。在参数更新的过程中，我们给包含更多新信息的learning episodes赋予更高的重要性权重，从而鼓励先前的最优策略更快的适应新环境中的新策略。

实验：通过对变结构连续控制任务的实验研究，验证了该方法对不同动态环境的适应速度快于baselines。

Introduction

第一段：

介绍了强化学习的大背景，定义，传统的RL算法，例如动态规划，蒙特卡洛方法，时间差分学习方法广泛应用于智能控制和工业应用dynamic programming，Monte Carlo methods，temporal difference learning。为了解决“curse of dimensionality”wei’shu维数灾难，函数近似技术，例如最小二乘策略迭代least-squares policy iteration，拟合Q-迭代fitted Q-iteration被用于连续空间的MDPs马尔可决策过程。结合深度学习的最近进展，学习特征表示使RL算法在超高危应用中具有实用性，例如Atari games [12], the game of Go [13],and robot locomotion [14].

第二段：

介绍传统RL设置中，任务固定，环境保持不变。然而，在实际应用中，环境是动态的，其中reward function，state transition function，或者state-ac