目录
FSDP(Fully Sharded Data Parallel)
有关去中心化算路大模型的一些误区
如果去中心化训练是可行的,那么基础模型开发、模型治理和人工智能安全研究的轨迹都会发生重大变化。很难低估其影响。在协议中创建的模型的真正去中心化治理 变得可行,模型研究加速,不再局限于大型实验室,基础模型提供者的新兴寡头垄断受到挑战,基础模型访问得到保证,并开辟了通往下一个几个数量级大小模型的道路。
低带宽互连导致训练速度太慢
今天的共识是,使用真正去中心化的方法训练基础规模的模型实际上是不可行的。怀疑论者通常支持这一观点,理由是训练的通信强度和节点之间的低带宽连接,这些连接必须在去中心化的情况下使用。当将现有的分布式训练方法原封不动地应用于不同的硬件设置时&