Smaug

---

关于 Smaug

• huggingface : https://huggingface.co/abacusai/Smaug-72B-v0.1
• inferless-Smaug-72B : https://github.com/inferless/Smaug-72B

Smaug-72B是由Abacus AI推出的一款开源语言模型

是目前（24年2月）在 Open LLM Leaderboard 排名第一的模型

由 Qwen-72B 的微调而成，性能比较好。这也间接说明Qwen 基座模型非常强大，也支持很多语言。

Smaug 特别针对推理和数学技能，这解释了其在 GSM8K上的高分。

团队计划发表研究论文，并将这些技术应用于其他模型，包括miqu（LLama-2的70B版本）。

用户可以下载权重并进行量化，同时团队计划在接下来的几周内向llmsys人类评估排行榜提交Smaug模型 + Online RAG。

---

相关评测：

---

数据集说明

• silmorca
  由gpt4 产生，大概 51w条，主要用来做 sft
• truthy
  主要为了让大模型价值观和人对齐
• orca_dpo_pairs
  intel 开源，大概 1.2w 条

---

参考文章：

https://venturebeat.com/ai/meet-smaug-72b-the-new-king-of-open-source-ai/