干货！一种适用性、可拓展性强的离线强化学习方法

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

近年来，离线强化学习算法（Offline Reinforcement Learning）由于其不与环境交互，仅从数据集中学习策略，而得到越来越多的关注。与离线策略强化学习（Off-Policy Reinforcement Learning）不同，在离线场景下需要处理值函数估计中的外推误差，从而导致传统的Off-Policy方法无法直接用于离线场景。本篇论文从理论上分析了影响外推误差的因素，并提出了一种适用性及扩展性非常强的离线强化学习方法ICQ，从根本上克服了值函数中外推误差的影响。除此之外，本文基于ICQ提出了第一个多智能体离线强化学习算法，并在标准单智能体离线强化学习任务D4RL和离线多智能体任务StarCraft II上达到了优异的性能。该论文被NeurIPS 2021（Spotlight）被接收。

本期AI TIME PhD直播间，我们邀请到清华大学自动化系在读博士生——杨以钦，为我们带来报告分享《一种适用性、可拓展性强的离线强化学习方法》。

杨以钦：

清华大学自动化系在读三年级博士生。现导师是赵千川教授。博士期间的研究方向是离线强化学习的任务泛化性研究。杨以钦已在AAMAS、NeurIPS和ICLR上发表论文3篇。本篇论文发现了一种适应性和拓展性强的离线强化学习方法，并被评为Spotlight。

01

 背   景 

深度强化学习作为实现智能自主决策的核心途径之一，在许多领域已经取得了巨大的成功。深度强化学习方法的巨大成功很大一部分归功于在仿真环境中大量的探索和试错，只有收集到足够的交互经验，智能体才能利用其对环境的知识来改进和提升其策略性能。然而&#x