YPeng_Gao的博客

Pre-Training 和 Fine-Tuning是深度学习，特别是在自然语言处理（NLP）领域中，训练大模型（如LLaMA、GPT、Gemini等）的两个关键步骤。这两个步骤共同构成了一种有效的策略，用于利用大量未标记数据学习通用知识，然后通过少量标记数据将这些知识应用于特定任务。Pre-Training是指在大量未标记数据上训练深度学习模型的过程。这一步骤的目的是使模型能够学习到数据的通用特征和模式，从而捕获语言的基本语法和语义信息。

在训练 65B 模型时，Meta 代码在2048个A100 GPU(80GB)上处理速度约为380 tokens/sec/GPU。这意味着在1.4T Tokens。数据集上训练需要约21天。LLaMA 1：小模型+大数据。Llama 2 基座模型是在。上 进行 RLHF 训练得到。上 进行 RLHF 训练得到。

DeepSpeed 是一个开源深度学习优化库，旨在提高大模型训练和运行效率，以支持数千亿~万亿参数的超大语言模型。

这种设计对大规模计算尤其有利：当模型扩展到多个设备时，MoE层在这些设备间共享，而其他层则在每个设备上独立存在。如果两个专家的处理能力都已达到上限，那么这个 Token 就会被认为是多余的，并通过残差连接传递到下一层，或在某些情况下被直接丢弃。注：在模型编译时所有的张量形状（Tensor Shape）都是静态确定的，但无法预先知道每个专家将处理多少Token，因此需要设定一个固定的处理能力上限。：在 top-2 设计中，我们始终选择表现最优的专家，但第二选择的专家则根据其权重以一定概率被选中。

先收集⼀个提示词集合，并要求标注⼈员写出⾼质量的回复，然后使⽤该数据集以监督的⽅式微调预训练的基础模型。对这⼀步的模型，OpenAI 在其第⼀个流⾏的 RLHF 模型 InstructGPT 中使⽤了较⼩版本的 GPT-3;这⼀模型接收⼀系列⽂本并返回⼀个标量奖励，数值上对应⼈的偏好。首先，该策略 (policy) 是一个接受提示并返回一系列文本 (或文本的概率分布) 的 LM。这个策略的行动空间 (action space) 是 LM 的词表对应的所有词元 (一般在 50k 数量级)

从 GPT-3 到 ChatGPT 的大模型训练技术演进