模型分割 与 模型分片

模型分割（Model Splitting）和模型分片（Model Sharding）是深度学习中用于处理大型模型的技术，尤其是在资源有限的情况下。这些技术可以帮助我们更高效地训练和部署大型模型。

模型分割通常指的是将一个大型模型的不同部分分布到多个设备上进行训练和推理。这样做可以使得模型能够适应更多的硬件配置，同时还能提高计算效率。模型分割可以是水平分割，即将模型的不同层分配到不同的设备上；或者是垂直分割，即将模型的参数在不同设备间分割。

模型分片则更侧重于参数的分布存储。在模型分片中，模型的参数被分割成多个片段（shards），每个片段存储在不同的设备上。这种方法在处理超大模型时特别有用，因为单个设备可能无法容纳整个模型。模型分片可以通过不同的策略来实现，例如按层分片或者按参数分片。

在实际应用中，例如PyTorch的完全分片数据并行（Fully Sharded Data Parallel, FSDP）技术，它通过将模型参数和梯度分片到多个GPU上来实现并行处理，每个GPU持有模型的一部分，并在其本地数据上进行前向和后向传播。然后，FSDP负责跨GPU同步梯度和模型参数，以确保所有GPU上的模型保持一致。

此外，OneFlow框架提供了大模型分片保存和加载策略，它基于全局视角的概念，利用Placement与SBP完成模型文件在各个物理设备上的切分，适用于当模型大到无法在单个设备的内存或显存上容纳下的场景。

总的来说，模型分割和模型分片是处理大型模型的重要技术，它们使得在有限的硬件资源上训练和部署大型模型成为可能。