Ray和RLlib用于快速并行强化学习

作者|Christian Hubbs 编译|VK 来源|Towards Data Science

Ray不仅仅是一个用于多处理的库，Ray的真正力量来自于RLlib和Tune库，它们利用了强化学习的这种能力。它使你能够将训练扩展到大型分布式服务器，或者利用并行化特性来更有效地使用你自己的笔记本电脑进行训练。

我们展示了如何使用Ray和RLlib在OpenAI Gym上构建一个自定义的强化学习环境。

一个RLlib教程

一旦你用pip install ray[rllib]安装了Ray和RLlib，你就可以用命令行中的一个命令来训练你的第一个RL代理:

rllib train --run=A2C --env=CartPole-v0

这将告诉你的计算机在CartPole环境使用Advantage Actor Critic Algorithm (A2C) 算法训练。A2C和许多其他算法已经内置在库中，这意味着你不必担心自己实现这些算法的细节。

这是非常棒的，特别是如果你想使用标准的环境和算法来训练。然而，如果你想做得更多，你就得挖得更深一些。

RLlib代理

可以通过ray.rllib.agents访问的各种算法。在这里，你可以找到在PyTorch和Tensorflow中的不同实现：https://github.com/ray-project/ray/tree/master/rllib/agents。

这些都是使用算法的trainer方法访问的。例如，如果你想使用如上所示的A2C，你可以运行: