BaichuanSEED: Sharing the Potential of ExtensivE Data Collection and Deduplication by Introducing

本文是LLM系列文章， 针对《BaichuanSEED: Sharing the Potential of ExtensivE Data Collection and Deduplication by Introducing a Competitive Large Language Model Baseline》的翻译。

摘要

大型语言模型（LLM）的一般能力高度依赖于对大量预训练数据集的组合和选择，这些数据集被多个机构视为商业机密。为了缓解这个问题，我们开源了一个普遍适用的数据处理管道的细节，并通过引入有竞争力的LLM基线来验证其有效性和潜力。具体而言，数据处理管道包括广泛的收集以扩大规模和重新加权以提高质量。然后，我们使用我们的管道处理的3Ttoken预训练了一个7B模型的百川SEED，而没有任何刻意的下游任务相关优化，然后是一个简单但有效的监督微调阶段。百川SEED在整个训练过程中表现出一致性和可预测性，并在综合基准测试中与Qwen1.5和Llama3等几种商业高级大型语言模型取得了相当的性能。我们还进行了几个启发式实验，讨论进一步优化下游任务（如数学和编码）的潜力。

1 引言

2 模型架构

3 预训练

4 监督微调