我们很高兴地发布Tigerbot-70b,继续开源和免费商用,包括:
-
Tigerbot-70b-base: 在Llama-2-70b的基础上继续预训练,模型综合能力在mmlu等10项主流基准测试中,优于Llama-2-70b,达到业内SOTA。
-
用高质量的300GB token多语言数据,
-
算法上使用了GQA, flash-attn, RoPE, holistic-training等技术,
-
训练采用了tensor/pipeline-partition技术,计算效率达到Llama-2 paper中报告的SOTA。
-
-
Tigerbot-70b-chat: 在Tigerbot-70b-base基础上,用20M指令完成数据进行sft,和10K人类标注的gold set进行rejection-sampling对齐。
-
同步开放Tigerbot-70b-chat-api,继续对教育和科研开发者免费。
模型训练
Tigerbot-70b是在Llama-2-70b的基础上用高质量的多语言数据300B tokens继续预训练,如下图第一部分训练数据的收敛曲线所示,比之前7b和13b呈现出更好的loss收敛。
我们认为在算法出色的基础上,数据的质量直接影响到模型能力,因此,我们此次训练启用了新的数据mix