Ollama本地部署大语言模型

Ollama本地部署大语言模型

Ollama是一个用于在本地运行大型语言模型(LLM)的开源框架，它提供了诸多实用的功能和特点：

1. 简化部署：Ollama旨在简化在Docker容器中部署LLM的过程，使管理和运行这些模型更加便捷。

2. 捆绑模型组件：该框架将模型权重、配置和数据捆绑到一个称为Modelfile的包中，这有助于优化设置和配置细节，包括GPU的使用情况。

3. 支持多种模型：Ollama支持多种大型语言模型，例如Llama 2、Code Llama、Mistral、Gemma等，并且允许用户根据具体需求定制和创建自己的模型。

4. 跨平台支持：Ollama支持macOS和Linux平台，同时Windows平台的预览版也已发布。用户只需访问Ollama的官方网站下载对应平台的安装包即可进行安装。

5. 命令行操作：安装完成后，用户可以通过简单的命令行操作来启动和运行大型语言模型。例如，要运行Gemma 2B模型，只需执行命令“ollama run gemma:2b”。

6. 资源要求：为了流畅运行大型模型，Ollama需要一定的内存或显存。具体来说，至少需要8GB的内存/显存来运行7B模型，至少需要16GB来运行13B模型，而运行34B的模型则至少需要32GB。

此外，Ollama还提供了类似OpenAI的简单内容生成接口和类似ChatGPT的聊天界面，无需开发即可直接与模型进行交互。它还支持热切换模型，即可以在不重新启动的情况下切换不同的模型，非常灵活多变。

总的来说，Ollama为想要在本地计算机上运行和实验大型语言模型的用户提供了一个便捷的解决方案，适用于学术研究或个人项目开发。

使用家用PC实践记录如下：

1. 环境配置

本次使用的操作系统及硬件信息如下：

• 操作系统：windows11 23H2
• CPU: intel i7-12700
• MEM: 16GB
• GPU: NVIDIA GeForce GTX 1650
• Disk： 512GB SSD

2. 安装Ollama

1. macOS: Download

2. Windows： Download

3. Linux

   一键命令安装：curl -fsSL https://ollama.com/install.sh | sh

   手动安装：Manual install instructions

4. Docker: Ollama Docker image

5. library安装

   • python：ollama-python
   • js：ollama-js

3. 运行模型

通过如下命令下载运行模型：

ollama run llama2

本文使用windows运行llama2进行测试，windows版本安装完成后会弹出如下窗口：

运行llama2，首次运行会下载模型文件：

注意：

后续运行直接在cmd运行命令即可。运行llama2需要pc具有足够的内存，如果内存不足进程无法启动。

ollama支持的模型列表

注意：
运行7B模型至少需要8GB内存，运行13B模型至少需要16GB内存，运行33B模型至少需要32GB内存。

Model	Parameters	Size	Download
Llama 3	8B	4.7GB	ollama run llama3
Llama 3	70B	40GB	ollama run llama3:70b
Mistral	7B	4.1GB	ollama run mistral
Dolphin Phi	2.7B	1.6GB	ollama run dolphin-phi
Phi-2	2.7B	1.7GB	ollama run phi
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
Llama 2 13B	13B	7.3GB	ollama run llama2:13b
Llama 2 70B	70B	39GB	ollama run llama2:70b
Orca Mini	3B	1.9GB	ollama run orca-mini
LLaVA	7B	4.5GB	ollama run llava
Gemma	2B	1.4GB	ollama run gemma:2b
Gemma	7B	4.8GB	ollama run gemma:7b
Solar	10.7B	6.1GB	ollama run solar

4. 参考资料

• 官网
• api文档
• git仓库