虎博开源大模型TigerBot-70B发布

我们很高兴地发布Tigerbot-70b，继续开源和免费商用，包括：

1. Tigerbot-70b-base: 在Llama-2-70b的基础上继续预训练，模型综合能力在mmlu等10项主流基准测试中，优于Llama-2-70b，达到业内SOTA。

   1. 用高质量的300GB token多语言数据，

   2. 算法上使用了GQA, flash-attn, RoPE, holistic-training等技术，

   3. 训练采用了tensor/pipeline-partition技术，计算效率达到Llama-2 paper中报告的SOTA。

2. Tigerbot-70b-chat: 在Tigerbot-70b-base基础上，用20M指令完成数据进行sft，和10K人类标注的gold set进行rejection-sampling对齐。

3. 同步开放Tigerbot-70b-chat-api，继续对教育和科研开发者免费。

模型训练

Tigerbot-70b是在Llama-2-70b的基础上用高质量的多语言数据300B tokens继续预训练，如下图第一部分训练数据的收敛曲线所示，比之前7b和13b呈现出更好的loss收敛。

我们认为在算法出色的基础上，数据的质量直接影响到模型能力，因此，我们此次训练启用了新的数据mix