MiniMax-01技术报告解读（三）预训练

最新推荐文章于 2025-04-28 22:01:42 发布

大模型本地部署_

最新推荐文章于 2025-04-28 22:01:42 发布

阅读量1.4k

点赞数 52

文章标签：人工智能深度学习 AI大模型大模型自然语言处理 LLM ai

本文链接：https://blog.csdn.net/Androiddddd/article/details/145183407

版权

四、预训练

MiniMax-01的预训练过程是其能够在长上下文任务中表现出色的关键。为了构建一个强大的基础模型，MiniMax-01在数据选择、数据格式优化、数据混合策略以及长上下文扩展等方面进行了精心设计和优化。以下是对预训练过程的详细解析。

4.1 数据

MiniMax-01的预训练数据是其成功的基础。为了确保模型的高性能，MiniMax-01在数据质量、数据格式和数据混合策略上进行了多项创新。

4.1.1 预训练语料库

MiniMax-01的预训练语料库涵盖了多种来源，包括学术文献、书籍、网页内容和编程代码。为了确保数据的高质量，MiniMax-01采用了以下策略：

数据质量增强：

通过结合规则清洗和去重程序，MiniMax-01对文档质量进行了严格评估。模型使用前一代MiniMax模型作为奖励标签器，评估文档的连贯性、简洁性、教育价值、帮助性、知识丰富性和类别相关性。最终，MiniMax-01聚焦于三个关键维度：知识深度、实用帮助性和类别分布，同时将其他指标作为次要验证指标。

数据格式优化：

对于网页和书籍内容，MiniMax-01在提取和清洗后直接使用，无需进一步格式化。对于对话和问答数据，MiniMax-01采用了嵌套文档格式，使用灵活的模板来平衡自然理解与结构一致性。这种设计确保了模型在多种交互模式下的泛化能力。

数据混合策略：

MiniMax-01开发了一种复杂的数据分布调整方法，基于知识深度和帮助性等质量指标进行采样权重调整。实验表明，完全剔除低质量内容可能会对下游任务性能产生负面影响，因此MiniMax-01采用了平衡采样策略，确保高质量内容的优先性，同时保留多样化的类别。

4.1.2 分词

MiniMax-01采用了字节级字节对编码（Byte-level Byte Pair Encoding, BPE）进行分词，词汇表大小为20万。为了提升多语言内容的压缩效率，MiniMax-01对多语言内容进行了上采样。

4.1.3 数据实验

为了系统评估预训练数据质量、格式和组成的影响，MiniMax-01进行了广泛的数据消融实验。通过训练多个小规模MoE模型，MiniMax-01能够隔离和测量单个数据属性的影响，同时保持计算效率。

4.1.4 重复数据的影响

重复数据对模型性能和泛化能力有显著的负面影响。MiniMax-01引入了重复感知实验框架，通过全局去重和按训练计划下采样文档，确保数据效率与最终训练阶段一致。实验表明，低质量数据在训练超过两个epoch后性能显著下降，而高质量数据可以有效地训练多达四个epoch。

4.2 训练策略

MiniMax-01的训练策略是其能够在长上下文任务中表现出色的关键。通过精心设计的初始化、学习率调度和长上下文扩展策略，MiniMax-01成功将训练上下文长度扩展到100万token。

在这里插入图片描述

4.2.1 初始预训练

MiniMax-01使用Xavier初始化方法初始化所有模型参数，DeepNorm的缩放因子设置为α=(2N)^{0.25和β=(8N)}-0.25，其中N为层数。模型采用AdamW优化器，β1=0.9，β2=0.95，权重衰减为0.1。训练序列长度为8192，批量大小从初始的1600万逐步增加到7900亿token时的6400万，最终在4.7万亿token时增加到1.28亿。