20240325 LLM训练

1.DeepSpeed 是一个由微软开发的开源深度学习优化库，专注于提升大规模模型训练的效率、速度以及资源利用率。它的核心目标在于解决训练超大规模神经网络模型时遇到的各种挑战，比如内存限制、计算效率低下、分布式训练复杂性等问题。

DeepSpeed 提供了一系列先进的技术特性，例如：

1. ZeRO（Zero Redundancy Optimizer）：这是一种创新的内存优化技术，通过消除模型参数、梯度和 optimizer 状态的冗余存储，使得模型可以在单个GPU或者分布式环境下训练数十亿甚至万亿参数级别的模型。

2. 分布式训练优化：支持大规模的模型并行、数据并行和流水线并行策略，使得模型能在多GPU或多节点集群上高效训练。

3. 推理优化：提供诸如Inference Optimization（如DeepSpeed-Chat提到的Inference-customized GeMM优化）、模型压缩和量化技术，以加快模型推理速度。

4. 训练效率提升：包括梯度累积、自动混合精度计算（AMP）和动态精度缩放等功能，这些都能显著提升训练过程的效率。

5. 用户友好：DeepSpeed还致力于简化使用流程，让普通开发者也能更容易地训练大型模型，例如开源DeepSpeedChat项目，允许用户训练类似ChatGPT这样的大规模语言模型。

综上所述，DeepSpeed已经成为训练和优化大规模深度学习模型的重要工具之一，在学术界和工业界都得到了广泛应用。

https://github.com/microsoft/DeepSpeed

2.大模型peft

PEFT（Parameter-Efficient Fine-Tuning）是一种针对大规模预训练模型（尤其是自然语言处理领域的模型）进行微调的技术手段，其主要目的是在保持模型性能的同时，尽可能减少需要微调的参数量，以节省计算资源、降低训练成本，并减轻过拟合的风险。

在自然语言处理任务中，预训练模型如BERT、GPT等通常拥有数以亿计的参数，直接对整个模型进行微调对于许多实际应用场景而言可能过于昂贵。PEFT技术则通过引入一些额外的参数层（如adapter、prefix-tuning、LoRA、prompt-tuning等组件）来适应新的任务，而不是微调所有的模型参数。

例如：

• Adapter结构是在模型的不同层之间插入小型可学习的转换层，只训练这些适配器模块，而保留原始预训练模型权重不变。
• Prefix-tuning则是给定一个固定长度的向量序列作为模型输入的一部分，这些前缀向量被训练以引导模型生成特定类型的结果。
• LoRA（Low-Rank Adaptation）采用低秩矩阵分解方法来更新模型权重，这极大地减少了需要训练的参数数量。

通过这些策略，PEFT允许在有限的计算资源条件下，对预训练模型进行快速且高效的定制，使之适应新的具体任务，进而推动大模型在更多实际应用中的落地。Hugging Face等组织和社区为这类参数高效微调方法提供了相应的库和工具支持。