开源免费大语言模型（LLMs）排行榜

目录

一、模型介绍

1.1  LLaMA (Large Language Model Meta AI)

1.2 Falcon

1.3 Mistral

1.4 GPT-NeoX

1.5 Bloom

1.6 OPT (Open Pre-trained Transformer)

1.7 GPT-J

1.8 RedPajama

1.9 Cerebras-GPT

1.10 WizardLM

二、其他问题

2.1 大模型中的6B、7B是什么含义，是如何计算的？

2.2 什么是参数（Parameters）？

2.3 如何计算参数？

对比分析

总结

---

下面是一些热门的开源免费大语言模型（LLMs）的排行榜，并对它们的特点、优劣对比，以及搭建运行的最低配置要求进行了详细分析。

一、模型介绍

1.1  LLaMA (Large Language Model Meta AI)

• 发布方: Meta (Facebook)
• 模型大小: 7B, 13B, 30B, 65B 参数
• 特点: 高效、轻量级模型，具有良好的推理性能，能在较小的显存上运行较大的模型。
• 优点:

• • 训练高效，精度优秀
  • 在推理时速度快
  • 7B 模型对硬件要求较低

• 缺点: 65B 参数模型需要极高的计算资源。
• 最低配置要求:

• • 7B 参数: 24 GB 显存 GPU（如 A100 40GB 或 RTX 3090）
  • 65B 参数: 256 GB 显存的多张 GPU

1.2 Falcon

• 发布方: Technology Innovation Institute (TII)
• 模型大小: 7B, 40B 参数
• 特点: Falcon 具有极高的生成质量，被认为是目前开源模型中性能最好的之一，特别是在较大参数设置下。
• 优点:

• • 出色的文本生成能力
  • 对齐和推理结果自然

• 缺点: 40B 参数模型对硬件要求较高。
• 最低配置要求:

• • 7B 参数: 16-24 GB 显存的单张 GPU
  • 40B 参数: 4 张 80GB A100 GPU 或相当的多张 GPU

1.3 Mistral

• 发布方: Mistral AI
• 模型大小: 7B 参数
• 特点: Mistral 7B 模型在规模较小的情况下仍表现出色，特别是在多任务学习和推理任务中。
• 优点:

• • 高效性，适用于中小型部署
  • 精确的对齐和文本生成能力

• 缺点: 功能较大模型有限，适合轻量级应用。
• 最低配置要求:

• • 7B 参数: 24 GB 显存的 GPU（如 A100 或 RTX 3090）

1.4 GPT-NeoX

• 发布方: EleutherAI
• <