基于Python的分布式高可用扩展引擎Ray 0.3.0发布

3 篇文章 2 订阅

Ray: 0.3发布

我们很高兴宣布发布Ray的0.3版本,本次发布主要包括distributed actor handles 和Ray.tune——一个新的超参搜索库,还包括修复一系列bug和提高稳定性。
为了更新到最新版本,运行:

pip install -U ray

超参搜索工具

本版本增加了Ray.tune,这是一个分布式超参数评估工具,用于强化学习和深度学习等训练时间较长的任务,他目前包括以下功能:

  • 可插入的早期停止算法,包括中值停止规则和超频带
  • 可视化工具融合,比如TensorBoard、rllab’s VisKit, parallel coordinates visualization
  • 灵活的参数自动搜索,包括网格搜索、随机搜索、条件参数分布
  • 资源感知调度,包括支持并行运行需要的GPU算法,或者他们本身是并行和分布的。

Ray.tune 提供用于深度学习和其他计算密集型任务的python api,下面是例子:

from ray.tune import register_trainable, grid_search, run_experiments

def my_func(config, reporter):
    import time, numpy as np
    i = 0
    while True:
        reporter(timesteps_total=i, mean_accuracy=i ** config['alpha'])

        i += config['beta']
        time.sleep(0.01)

register_trainable('my_func', my_func)

run_experiments({
    'my_experiment': {
        'run': 'my_func',
        'resources': {'cpu': 1, 'gpu': 0},
        'stop': {'mean_accuracy': 100},
        'config': {
            'alpha': grid_search([0.2, 0.4, 0.6]),
            'beta': grid_search([1, 2]),
        },
    }
})

可以使用TensorBoard和rllab的VisKit等工具实时显示正在运行的结果
(或者可以直接从驱动程序节点读取JSON格式的日志):

查看文档代码

Ray.tune与RLib集成

下面的例子可以用Ray.tune来试验RLlib

cd ray/python/ray/rllib
python train.py -f tuned_examples/cartpole-grid-search-example.yaml

该tuned_examples目录还包含用于诸如Pong和Humanoid之类的常见基准测试任务的预先调整的超参数配置。查看 RLlib文档

Rllib开始支持PyTorch

优秀的强化学习库应该与多个深度学习框架一起工作。作为迈向这一目标的一步,0.3增加了对RLlib中A3C的PyTorch模型的支持。你可以用下面的A3C配置来试试这个。

cd ray/python/ray/rllib
./train.py --run=A3C \
          --env=PongDeterministic-v4 \
          --config='{"use_pytorch": true, "num_workers": 8, "use_lstm": false, "model": {"grayscale": true, "zero_mean": false, "dim": 80, "channel_major": true}}'

分布式Actor Handles

Ray 0.3添加了对分布式actor操作符的支持,也就是说,可以让多个调用者在同一个actor上调用方法。Actor的创造者可以将actore手柄作为参数传递给其他任务或其他actor方法。下面是一个例子,其中驱动程序创建一个actor来记录消息,并将actor handle传递给其他任务:

import ray

ray.init()

@ray.remote
class Logger(object):
    def __init__(self):
        self.logs = []
    def log(self, log_msg):
        self.logs.append(log_msg)
    def read_logs(self):
        return self.logs

@ray.remote
def task(logger, task_index):
    # Do some work.
    logged = logger.log.remote('Task {} is done'.format(task_index))

# Create an actor and get a handle to it.
logger = Logger.remote()
# Pass the actor handle to some tasks.
tasks = [task.remote(logger, i) for i in range(10)]
# Wait for the tasks to finish.
ray.get(tasks)
# Get the logs from the tasks.
print(ray.get(logger.read_logs.remote()))

这个特性仍然被认为是实验性的,但是我们已经发现了分布式的actor 参数对于实现参数服务器和 流式MapReduce应用程序很有用。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值