有关去中心化算路大模型的一些误区：低带宽互连导致训练速度太慢；小容量设备无法生成基础规模的模型；去中心化总是会花费更多；虫群永远不够大

目录

有关去中心化算路大模型的一些误区

低带宽互连导致训练速度太慢

挑战与解决方案

展望

小容量设备无法生成基础规模的模型

1. 模型规模与设备内存

2. 解决方案

3. 效率挑战

FSDP（Fully Sharded Data Parallel）

Zero-3

去中心化总是会花费更多

虫群永远不够大

---

有关去中心化算路大模型的一些误区

如果去中心化训练是可行的，那么基础模型开发、模型治理和人工智能安全研究的轨迹都会发生重大变化。很难低估其影响。在协议中创建的模型的真正去中心化治理 变得可行，模型研究加速，不再局限于大型实验室，基础模型提供者的新兴寡头垄断受到挑战，基础模型访问得到保证，并开辟了通往下一个几个数量级大小模型的道路。

低带宽互连导致训练速度太慢

今天的共识是，使用真正去中心化的方法训练基础规模的模型实际上是不可行的。怀疑论者通常支持这一观点，理由是训练的通信强度和节点之间的低带宽连接，这些连接必须在去中心化的情况下使用。当将现有的分布式训练方法原封不动地应用于不同的硬件设置时&