发布了 DisTrO(分布式互联网训练)的初步报告,这或许会成为一个革命性的系统,它旨在实现使用世界上所有的计算能力来训练共享的开源 AI 模型
DisTrO 大幅减少了 GPU 之间的通信需求,减少幅度达到 1000 倍至 10000 倍,即使在网络较慢的情况下也是如此,并且不影响收敛速度。
目前代码和完整论文还没开源,值得期待。
发布了 DisTrO(分布式互联网训练)的初步报告,这或许会成为一个革命性的系统,它旨在实现使用世界上所有的计算能力来训练共享的开源 AI 模型
DisTrO 大幅减少了 GPU 之间的通信需求,减少幅度达到 1000 倍至 10000 倍,即使在网络较慢的情况下也是如此,并且不影响收敛速度。
目前代码和完整论文还没开源,值得期待。