Ollama在本地跑 Llama2活Gemma

ollama是什么?

Ollama 是一个强大的框架，设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者，它使该过程变得非常简单。它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。

Ollama 将模型权重、配置和数据捆绑到一个包中，定义成 Modelfile。它优化了设置和配置细节，包括 GPU 使用情况。

安装 ollama

ollama极大的简化了安装的过程，并提供了多种选择。

支持的平台包括：Mac和Linux及window 体验版本，并提供了docker 镜像。

在ollama的官网首页(Ollama)即可下载(Available for macOS, Linux, and Windows (preview))

gitee上有其github的镜像

ollama: Ollama 是一款命令行工具，可在 macOS 和 Linux 上本地运行 Llama 2、Code Llama 和其他模型https://gitee.com/mirrors/ollama使用 ollama

笔者以Mac为例，安装完成后打开ollama的应用，简单的点击确认后，就已经启动了ollama的服务器。

window下更简单，无需也无法修改设置，直接安装在用户目录下，然后就启动了，在右下状态栏有个羊驼的图标，此时就表示运行了。

接着是下载模型文件，使用以下命令可以下载 llama2-chinese 中文模型。

ollama pull llama2-chinese

下载由于各种原因，较慢且易失败，建议xx后下载。

可以使用 run 命令运行模型，直接将消息附在命令后。

ollama run llama2-chinese "菊花为什么是红色的？"

如果run的模型没有pull，会自动去pull Llama2的模型，并运行，确实非常的便捷。

在使用ollama的python库时会自动去调用后台的ollama，从而实现在notebook中交互。GitHub - ollama/ollama-python: Ollama Python libraryOllama Python library. Contribute to ollama/ollama-python development by creating an account on GitHub.https://github.com/ollama/ollama-python

另外还支持将Ollama作为服务提供到网络环境中，在 macOS 中:

OLLAMA_HOST=0.0.0.0:11434 ollama serve

除了Llama2以外 Ollama 还支持其他的开原模型，

可在models页面查看

libraryGet up and running with large language models, locally.https://ollama.com/library另外还需要注意一下文档中的运行资源说明：

3B模型需要8G内存，7B模型需要16G内存，13B模型需要32G内存。

除了简单的启动模型外，Ollama 可以通过编写 Modelfile 来导入更多的自定义模型，具体的使用方法和配置请自行查阅文档。

Ollama具备灵活的扩展性，它支持和很多工具集成，除了命令行的使用方式，可以通过配合UI界面，简单快速的打造一个类ChatGPT应用。笔者也计划抽空写一期专门的教程，来介绍一个如果快速通过Ollama搭建一个仿ChatGPT。

项目特点

• 开源：很显然这是首要特点，开源推动者项目的持续发展
• 开箱即用：一条命令的方式，简化了大量的工作，降低了门槛。
• 可扩展：可以和很多工具进行集成使用，有更多的玩法
• 轻量化：不需要太多的资源，Mac就能跑

项目信息

• 项目名称：Ollama
• 官方网站：https://ollama.com
• GitHub 链接：https://github.com/ollama/ollama