开启全球共享 AI 训练新时代

 发布了 DisTrO（分布式互联网训练）的初步报告，这或许会成为一个革命性的系统，它旨在实现使用世界上所有的计算能力来训练共享的开源 AI 模型

DisTrO 大幅减少了 GPU 之间的通信需求，减少幅度达到 1000 倍至 10000 倍，即使在网络较慢的情况下也是如此，并且不影响收敛速度。

目前代码和完整论文还没开源，值得期待。