本文是LLM系列文章,针对《TigerBot: An Open Multilingual Multitask LLM》的翻译。
TigerBot:一种开放的多语言多任务LLM
摘要
我们发布并介绍了TigerBot系列的大型语言模型(LLM),由基础模型和聊天模型组成,大小分别为7、13、700和1800亿个参数。我们从Llama-2和BLOOM开始开发我们的模型,并在数据、训练算法、基础设施和应用工具方面进一步突破界限。与SOTA开源模型(例如Llama-2)相比,我们的模型获得了有意义的性能提升,特别是英语提升了6%,中文提升了20%。TigerBot模型家族在主要的学术和行业基准和排行榜上也取得了领先的表现。我们相信TigerBot只是LLM开源社区闪电般发展的一个缩影。因此,我们很高兴能够通过公开发布我们的模型和报告我们的方法来回报,并进一步强调以民主化的方式构建SOTA LLM以及使LLM在现实世界的应用中发挥作用。
1 引言
2 TigerBot模型
3 应用
4 结论
在这项工作中,我们介绍了TigerBot,这是一个预训练和聊天LLM家族,参数大小为7B到180B。TigerBot凭借其高质量的训练数据和一系列尖端的训练方法和系统实现