本地大模型比较

大模型中量级单位和内存不一样

K（Kilo, 千）：表示 1,000。在机器学习模型中，通常用来描述较小模型的参数量，比如 100K（十万）参数。

M（Million, 百万）：表示 1,000,000。一般用于中等规模的模型，比如 BERT-base（110M）。

B（Billion, 十亿）：表示 1,000,000,000。大型模型通常达到这一量级，比如 GPT-3（175B）。

T（Trillion, 万亿）：表示 1,000,000,000,000。这代表非常巨大的参数量。GPT-4

---

Ollama 的竞品对比

工具/框架	本地运行	开源	模型选择	易用性	适用场景
Ollama	✅	✅	中等	高	隐私敏感、离线、轻量级
Hugging Face	✅	✅	丰富	中高	研究、开发、生产
LLaMA	✅	✅	较少	中	研究、轻量级应用
GPT-NeoX	✅	✅	较少	中	研究、实验
LocalAI	✅	✅	丰富	中高	隐私敏感、离线

---

最轻量级模型对比

模型名称	参数规模	原始内存需求	4-bit 量化后内存需求	适用场景
TinyLLaMA	1B	2GB	500MB-1GB	嵌入式应用、轻量级对话
RWKV	1.5B	3GB	1GB-2GB	文本生成、对话系统
DistilGPT-2	82M	2GB	无需量化	文本生成、问答系统
GPT-Neo	125M	500MB	无需量化	嵌入式应用、实验性项目
ChatGLM-6B	6B	12GB	3GB-6GB	中英双语对话
LLaMA 7B	7B	16GB	4GB-8GB	文本生成、问答系统
Alpaca 7B	7B	16GB	4GB-8GB	对话系统、任务自动化