分享一下如何部署本地大模型,让它成为你的离线助手。
准备工作
服务器或者电脑一台,配置越高越好, Windows和Mac皆可,Widows最好内存8G以上而且带一块好一点的显卡;Mac的话建议M系列芯片,内存建议16G以上
下载好docker桌面版:https://www.docker.com/products/docker-desktop/
下载好Ollama:https://ollama.ai/
注意:运行 7B 模型时,您应至少有 8 GB 的可用内存,运行 13B 模型时应有 16 GB 的可用内存,运行 33B 模型时应有 32
GB 的可用内存。M系列MacBook采用统一内存架构,这意味着CPU和GPU可以共享同一内存池。这种设计减少了数据在不同处理单元之间传输的需要,从而可以显著提高大型数据集处理的速度和效率。
下载Ollama
在官网进行下载,也可以使用docker进行安装。
什么是Ollama
Ollama 是一个轻量级、可扩展的框架,旨在在本地计算机上构建和运行大型语言模型(LLM)。它支持多种模型架构,如 Llama 3、Phi 3、Mistral 和 Gemma 2,并提供了简洁的 API 以创建、运行和管理这些模型。Ollama 可以在 macOS、Linux 和 Windows 上运行,适合于需要在本地运行大模型的应用场景 (Ollama) (GitHub)。
Ollama 的主要特点包括:
- 易用性:API设计简洁,用户可以轻松上手,即使是没有经验的用户也能快速使用 (腾讯云 - 产业智变 云启未来)。
- 性能:运行速度快,占用资源少,即使在配置较低的机器上也能流畅运行 (腾讯云 - 产业智变 云启未来)。
- 功能多样性:支持多种任务,如文本翻译、问答、代码生成等,可以满足用户的多种需求 (腾讯云 - 产业智变 云启未来)。
- 社区支持:拥有一个活跃的社区,用户可以分享经验和获得帮助 (腾讯云 - 产业智变 云启未来)。
此外,Ollama 提供了一个丰富的模型库,用户可以轻松地拉取和运行预训练模型,并且支持从 PyTorch 或 Safetensors 导入模型进行自定义 (Ollama)。
如果你想在自己的电脑上运行如 GPT-3 这样的大型人工智能模型,而不是通过互联网连接到它们,那么 Ollama 是一个实现这一目标的工具。
Ollama支持非常多的开源模型,比如:
更多支持的模型可以看这边:https://ollama.com/library
当然它还支持自定义模型,这边就不深入了,有兴趣的可以研究:https://github.com/ollama/ollama
装好之后,命令行运行:
ollama -v
查看到版本号说明安装好了。
接下来我们下载一个llama3 8B的模型:
ollama run llama3
这边可能需要比较长的时间,取决于你的网速。
下载好了就可以进行交互了:
其实现在已经搞定了,你可以让它帮你干活了,但是每次都要用命令行,有些人觉得不方便,而且也不能给别人用,下面我们就给它搞一个图形化界面,扩展一下功能,也能让局域网里的其他小伙伴也用上你的这个模型(注意多人同时访问会导致机器负载飙升,具体取决于你机器的性能和模型参数的大小)
参考文献
- https://ollama.com/library
- https://blog.laoda.de/archives/lobechat-ollama-deploy-offline