每当我们在公有云或者私有云发布训练好的大数据模型,为了方便大家辨识、理解和运用,参照huggingface所制定的标准制作一个Model Card展示页,是种非常好的模型展示和组织形式。
下面就是一个Model Card 的示例,我试着把它翻译成了中文,源网址,并且提供了Markdown的模板,供大家参考。在这里你可以看到它的指导手册,以后有时间我也把它翻译过来。
Falcon-180B(猎鹰-180B)的模型卡片
模型详情
🚀 Falcon-180B
Falcon-180B是一个1800亿参数的因果解码器模型,它由TII(Technology Innovation Institut)公司研发,基于RefinedWeb增强的语料库,使用3万5千亿个Token进行训练。它提供了Falcon-180B TII License(猎鹰180 TII许可证) 和 Acceptable Use Policy(使用条款).
论文将很快发布 😊
🤗 要开始使用Falcon(推理、微调、量化等),我们建议阅读 HF这篇伟大的博客 或者 这篇 Falcon-40B的发布版!
请注意因为180B大于transformers(转换)
+acccelerate(加速)
可以轻松处理的值, 我们建议使用Text Generation Inference(文本生成推断).
您 至少需要400GB内存 才能使用Falcon-180B快速进行推理.
为什么要使用Falcon-180B?
- 它是目前可用的最好的开放访问模型,也是总体上最好的模型之一 Falcon-180B 性能上优于 LLaMA-2, StableLM, RedPajama, MPT, 等等. 请参阅 OpenLLM Leaderboard 排行榜.
- 它的特点是具有多查询的推理优化架构, (Shazeer et al., 2019).
- 它提供的许可证允许商业使用。
- ⚠️ 这是一个原始的、经过预训练的模型,应该针对大多数用例进行进一步的微调。 如果您正在寻找一个更适合在聊天格式中使用通用指令的版本,我们建议您查看 Falcon-180B-Chat.
💸 想找一个更小、更便宜的模型吗? Falcon-7B 和 Falcon-40B 是 Falcon-180B 的小兄弟!
💥 Falcon LLMs 需要 PyTorch 2.0 才能使用 transformers
!
模型描述
- 开发者: https://www.tii.ae;
- 模型类型: 因果推断解码;
- 语言 (NLP): 英语、德语、西班牙语、法语(少部分支持意大利语、葡萄牙语、波兰语、荷兰语、罗马尼亚语、捷克语、瑞典语);
- 许可证: Falcon-180B TII License 和 Acceptable Use Policy.
模型源码
- 代码: 即将发布.