python分布式集群ray_Ray首页、文档和下载 - 分布式执行引擎

Ray 是一个高性能的分布式执行引擎，开源的人工智能框架，目标之一在于：让开发者可以用一个运行在笔记本电脑上的原型算法，仅需添加数行代码就能轻松转为适合于计算机集群运行的(或单个多核心计算机的)高性能分布式应用。这样的框架需要包含手动优化系统的性能优势，同时又不需要用户关心那些调度、数据传输和硬件错误等问题。

与深度学习框架的关系：Ray 与 TensorFlow、PyTorch 和 MXNet 等深度学习框架互相兼容，在很多应用上，在 Ray 中使用一个或多个深度学习框架都是非常自然的(例如，UC Berkeley 的强化学习库就用到了很多 TensorFlow 与 PyTorch)。

与其他分布式系统的关系：目前的很多流行分布式系统都不是以构建 AI 应用为目标设计的，缺乏人工智能应用的相应支持与 API，UC Berkeley 的研究人员认为，目前的分布式系统缺乏以下一些特性：支持毫秒级的任务处理，每秒处理百万级的任务；

嵌套并行(任务内并行化任务，例如超参数搜索内部的并行模拟，见下图)；

在运行时动态监测任意任务的依赖性(例如，忽略等待慢速的工作器)；

在共享可变的状态下运行任务(例如，神经网络权重或模拟器)；

支持异构计算(CPU、GPU 等等)。

Ray 有两种主要使用方法：通过低级 API 或高级库。高级库是构建在低级 API 之上的。目前它们包括 Ray RLlib，一个可扩展强化学习库；和 Ray.tune，一个高效分布式超参数搜索库。

Ray 的低层 API

开发 Ray API 的目的是让我们能更自然地表达非常普遍的计算模式和应用，而不被限制为固定的模式，就像 MapReduce 那样。

动态任务图

Ray 应用的基础是动态任务图。这和 TensorFlow 中的计算图很不一样。TensorFlow 的计算图用于表征神经网络，在单个应用中执行很多次，而 Ray 的任务图用于表征整个应用，并仅执行一次。任务图对于前台是未知的，随着应用的运行而动态地构建，且一个任务的执行可能创建更多的任务。