TigerBot: An Open Multilingual Multitask LLM

本文是LLM系列文章，针对《TigerBot: An Open Multilingual Multitask LLM》的翻译。

摘要

我们发布并介绍了TigerBot系列的大型语言模型（LLM），由基础模型和聊天模型组成，大小分别为7、13、700和1800亿个参数。我们从Llama-2和BLOOM开始开发我们的模型，并在数据、训练算法、基础设施和应用工具方面进一步突破界限。与SOTA开源模型（例如Llama-2）相比，我们的模型获得了有意义的性能提升，特别是英语提升了6%，中文提升了20%。TigerBot模型家族在主要的学术和行业基准和排行榜上也取得了领先的表现。我们相信TigerBot只是LLM开源社区闪电般发展的一个缩影。因此，我们很高兴能够通过公开发布我们的模型和报告我们的方法来回报，并进一步强调以民主化的方式构建SOTA LLM以及使LLM在现实世界的应用中发挥作用。

1 引言

2 TigerBot模型

3 应用

4 结论

在这项工作中，我们介绍了TigerBot，这是一个预训练和聊天LLM家族，参数大小为7B到180B。TigerBot凭借其高质量的训练数据和一系列尖端的训练方法和系统实现