如何得到稳定可靠的强化学习算法？微软两篇顶会论文带来安全的平滑演进

雷锋网 AI 科技评论按：强化学习最常见的应用是学习如何做出一系列决策，比如，如何一步步攀登上三千英尺高的岩壁。有机会用到强化学习并做出高水准结果的领域包括机器人（以及无人机）控制、对话系统（个人助理、自动化呼叫中心）、游戏产业（智能 NPC、游戏 AI）、药物研发（分子构型测试、剪裁管理）、复杂系统控制（资源分配、过程优化）等等。

强化学习的学术研究目前已经取得了不少令人欣喜的研究成果，比如斯坦福大学的强化学习研究团队就搞定了用强化学习控制一个简化过的直升机模型（https://link.springer.com/chapter/10.1007/11552246_35），甚至还学会了新的杂耍动作；Orange Labs 部署了世界首个用强化学习优化的商业化对话系统（https://aclweb.org/anthology/papers/W/W10/W10-4332/）；DeepMind 开发出了深度强化学习算法 DQN（https://www.nature.com/articles/nature14236/），正是凭借着这个算法，他们训练出了只依靠视觉输入就可以在 Atari 游戏中达到人类水平的智能体，以及创造了只靠自我对弈就可以在围棋中达到超过人类顶尖水平的人工智能。

虽然强化学习领域已经有了这么多成果，但是用强化学习解决真实世界中的问题仍然是困难重重的。原因有许多种，包括：深度强化学习的样本效率很糟糕，训练算法需要用到上亿级的样本，但这种数量的样本是难以在真实世界获得的；算法的决策有可能是有危害的，所以只能在不会伤害生命、不会破坏设施的环境中训练，也无法在有较高安全性要求的环境中使用；强化学习算法的公平性无法保证；而且，算法的可靠性、可重复性也不理想。

这篇博客讨论的就是强化学习中的可靠性问题。