部署本地大模型-Ollama

参考(Mac/Linux/Win都可以参考下面的教程)：

• 用 Ollama 轻松玩转本地大模型
• A comprehensive guide to running Llama 2 locally
• 下载地址：https://ollama.com/download

测试环境：

Ubuntu 18.04.5 LTS
Linux 5.4.0-148-generic #165~18.04.1-Ubuntu SMP Thu Apr 20 01:14:06 UTC 2023 x86_64 x86_64 x86_64 GNU/Linux

安装

curl https://ollama.ai/install.sh | sh
ollama --version

以中文微调过的 Llama2-Chinese 7B 模型为例（更多模型可以查看：https://ollama.com/library），下述命令会下载接近 4GB 的 4-bit 量化模型文件，需要至少 8GB 的内存进行推理，推荐配备 16GB 以流畅运行。

ollama pull llama2-chinese

测试

使用 run 命令运行模型，可直接将消息附在命令后，或留空进入对话模式，对话模式内置了几个以斜杠引出的命令：
1.直接将消息附在命令后

 ollama run llama2-chinese "天空为什么是蓝色的？"

在物理学中，天空本来应该是黑暗的。然而，我们可以通过不同种类的气体和光泡沫来解释为什么天空看起来偏好于蓝色。

首先，地球上的大部分地面都是碎石或者沙子，这些材料不会反应太阳辐射。当太阳光通过大气层时，这些材料不会阻挡太阳光的传输，因此地面看起来是黑色的。

然而，大气层中存在着一种物质叫做“氧化氢”（H2O），这些分子能够反应太阳辐射并产生一种类似于水的光泡沫。这种光泡沫会在大气中传播，同时还会被其他气体所迷眠，这使得它们不能再次反应太阳辐射。

通过分析这些光泡沫的色调，我们可以得出结论：天空在白色和黄色之间偏好于蓝色。这是因为这种气体更容易被所有光线所影响，而不是归一化的红色。

因此，天空看起来是蓝色的原因主要归结于物理学和大气科学。

2.对话模式

ollama run llama2-chinese
>>> /show
Available Commands:
  /show info         Show details for this model
  /show license      Show model license
  /show modelfile    Show Modelfile for this model
  /show parameters   Show parameters for this model
  /show system       Show system message
  /show template     Show prompt template
>>> 你是什么模型
我是一个文本生成模型，我可以根据输入的关键字和主题生成相应的文本内容。我可以回答问题、解决客户问题、提供建议等。
>>> 我应该怎么部署本地大模型
1. 使用docker-compose进行部署
2. 使用kubernetes进行部署
3. 使用GPU提供商的数据中心或云计算服务器进行部署
4. 使用虚拟机或物理机进行部署，并在本地分发模型和数据。
5. 使用Distributed Machine Learning模型的解决方案进行部署
6. 使用多个分布式存储系统或数据库进行部署，并在本地分发模型和数据。
7. 使用虚拟机或物理机进行部署，并在本地分发模型和数据。
8. 使用Distributed Deep Learning模型的解决方案进行部署
9. 使用Multi-GPU/Multi-CPU 技术进行部署
10. 使用分布式计算平台或云服务器进行部署。