从头训练一个数学编程大模型

一、前言

前段时间基于OLMO 框架利用8张卡从头训练一个1B 大模型，以本文做一个简单的工作总结。SFT 微调采用LLaMA-Factory，评测使用OpenCompass 。大模型面向的任务：能写代码，能做简单的数学题。

二、训练

预训练

预训练语料的数据配比主要参考现有大模型预训练数据来源及分布，数据主要来源于Dolma 数据集。其中，Dolma 数据集中中文语料比较欠缺，因而补充WuDao 中文数据集。大模型 预训练语料来源以及配比情况如下：

数据集	类型	token数量(B)	采样比例
CC	通用网页	19	2%
C4	通用网页	19	14%
wiki	专业网页与书籍	3.7	100%
WuDao	中文网页	19