wushakun的博客

一个大语言模型只是两个文件：参数和某些可以运行这些参数的代码。因为这是一个 700 亿参数模型，每个参数都存储为2个字节，因此参数文件有140GB，2个字节，是因为数据类型是float16运行参数的代码，可能是一个c文件/python文件或任何其他编程语言ChatGPTG:generate 生成P:Pre-trained 预训练T:Transformer 注意力机制获取大约10TB的文本，通常来自于对网络数据的爬取。

Ollama——一个简明易用的本地大模型运行框架。随着围绕着 Ollama 的生态走向前台，更多用户也可以方便地在自己电脑上玩转大模型了。Ollama 的目标是帮助开发者在本地运行、创建和共享大型语言模型。Ollama 目前处于早期预览阶段，但已经提供了一些核心功能。例如，它支持运行和对话 Llama 2，这是 Meta 新推出的模型。此外，Ollama 还提供了一个模型库，开发者可以在这里下载和使用各种开源模型。