Ray
zhipeng-python
这个作者很懒,什么都没留下…
展开
-
[原创] ray raylet OOM
ray work 内存占用并不高. 客户端节点 raylet 内存占用也不高, 但是主节点的 raylet 内存持续性增长, 直到 OOM 整个服务异常.在用 ray 集群做数据处理时, 主节点 raylet 内存持续增长不释放.装饰的函数结束前, 确保使用。原创 2024-06-05 14:47:39 · 200 阅读 · 0 评论 -
[原创] 使用 Ray 分布式计算框架读取 jsonl (json line)
使用 Ray 分布式计算框架读取 jsonl(json line) 格式文件.原创 2023-08-30 14:45:48 · 235 阅读 · 0 评论