Deepspeed框架学习笔记

       DeepSpeed 是由 Microsoft 开发的深度学习优化库，与PyTorch/TensorFlow等这种通用的深度学习框架不同的是，它是一个专门用于优化和加速大规模深度学习训练的工具，尤其是在处理大模型和分布式训练时表现出色。它不是一个独立的深度学习框架，而是依赖 PyTorch 等框架，扩展了这些框架的性能优化能力。 主要面向分布式训练，通过高效的内存管理、计算优化、模型并行化等技术，帮助开发者在现有硬件上以更快的速度和更低的成本训练超大规模模型。下面对其性质和使用进行如下总结：

（1）特性

DeepSpeed 在模型训练、推理、压缩等方面都进行了特定优化

其中：

• DeepSpeed-Training：提高大规模深度学习训练的效率和可用性。它包括诸如 ZeRO、3D-Parallelism、DeepSpeed-MoE（混合专家模型）和 ZeRO-Infinity 等技术，为大型模型的有效高效训练做出贡献。

• DeepSpeed-Infe