Ray 被 OpenAI、亚马逊等科技公司用来开发大模型,是最近异军突起的框架。
最近一段时间,文本生成的人工智能在互联网上掀起了一阵风暴:ChatGPT 因为可以对人们能想到的几乎任何问题提供非常详细、近乎逼真的回答而受到追捧。大模型应用的出现让人们对于 AI 技术突破充满了信心,不过很少有人知道在其背后,一个分布式机器学习框架正为这场生成式 AI 革命提供动力。
分布式计算框架 Ray 来自 A16z 支持的初创公司 Anyscale,它是使 OpenAI 能够强化其训练 ChatGPT 等模型的关键。在 OpenAI 最近的所有大型语言模型背后都有 Ray 的身影 —— 它可能也会是 OpenAI 备受期待的 GPT-4 背后的框架。随着大模型技术的不断落地,业内人士认为通过生成接近人类的内容,一个价值数十亿美元的产业正在形成。
在这一领域,Ray 是影响力最大的框架。在它出现之前,OpenAI 使用自定义工具集合来开发大模型。但 OpenAI 总裁 Greg Brockman 在今年早些时候的 Ray 峰会上就表示,随着面临的挑战增多,该公司已转而使用 Ray。
软件公司 Weights & Biases 的 CEO Lukas Biewald 认为,Ray 已是 AI 世界中炙手可热的后起之秀。「因为新工具出现,你可以在笔记本电脑和大型分布式服务器上运行相同代码。这是巨大的改变,随着模型变得更大,它的重要性也会随之增加,」Biewald 表示。