探索Ollama——入门：如何在本地环境中搭建和自定义大型语言模型

最新推荐文章于 2024-08-06 09:36:51 发布

南七小僧

最新推荐文章于 2024-08-06 09:36:51 发布

阅读量1.9k

点赞数 16

文章标签：语言模型人工智能自然语言处理 ollama 深度学习机器人数据库

我是南七小僧，邮箱：xkk9866@yeah.net ，C9博士，前百度搜索AI平台产品负责人，欢迎交流思想碰撞。

本文链接：https://blog.csdn.net/qq_25439417/article/details/139157791

版权

探索Ollama——入门：如何在本地环境中搭建和自定义大型语言模型

介绍Ollama

在当今快速发展的人工智能时代，大型语言模型（LLMs）已经成为技术前沿的热点话题。Ollama，作为一个开创性的工具，使得开发者能够在本地环境中轻松运行和管理这些强大的模型。无论是进行自然语言处理、代码生成还是其他AI驱动的任务，Ollama都提供了一个简单、高效的解决方案。

Ollama的主要特点包括其对多种操作系统的支持、对Docker的集成、以及一个丰富的模型库，让用户可以根据自己的需要选择和运行不同的模型。此外，Ollama提供了模型自定义的功能，让用户可以根据特定需求调整模型参数，或者导入自有的模型进行使用。

适用场景和目标用户

Ollama适合那些希望在本地环境中探索和使用大型语言模型的开发者。它为中级到高级的开发者提供了一种高效的方式，以利用最先进的AI技术解决实际问题。无论是在进行学术研究、开发创新的产品，还是探索AI的最新应用，Ollama都能提供必要的工具和资源。

安装Ollama

Ollama提供了对主流操作系统的广泛支持，包括macOS、Windows、Linux，以及通过Docker容器的部署方式。以下是针对每个平台的详细安装指南，确保你能够无缝安装并开始使用Ollama。

macOS安装

对于macOS用户，Ollama提供了一个直接下载的压缩包。你只需访问Ollama的官方下载页面，下载后解压，然后根据系统提示完成安装过程。这个过程非常直接，不需要额外的配置。

Windows预览版

Windows用户可以通过访问同样的下载页面，获取到Ollama的安装程序（OllamaSetup.exe）。下载后，双击安装程序并遵循安装向导的指示进行安装。请注意，由于处于预览阶段，Windows版本可能不如其他平台稳定，但仍然提供了大部分核心功能。

Linux安装

Linux用户有多种安装选项。最简单的方式是使用命令行工具curl执行一键安装脚本：

curl -fsSL https://ollama.com/install.sh <span class="p">|</span> sh

此命令会自动下载并安装Ollama。对于希望更细致控制安装过程的用户，Ollama也提供了手动安装指南，其中详细描述了如何在不同的Linux发行版上安装Ollama。

Docker支持

如果你更倾向于使用Docker，Ollama同样提供了官方Docker镜像ollama/ollama，可以在Docker Hub上找到。使用Docker部署Ollama非常适合希望在隔离环境中运行模型的用户，或者那些希望通过Docker简化部署和管理过程的用户。要获取并运行Ollama的Docker镜像，可以使用以下命令：

docker pull ollama/ollama
docker run -it ollama/ollama

这些命令将下载Ollama的最新Docker镜像，并在容器中启动它，让你可以立即开始使用。

快速开始

安装Ollama后，接下来的步骤是学习如何运行和与大型语言模型（LLM）进行交互。Ollama提供了简单直观的命令行接口（CLI），使得启动预训练模型或自定义模型变得轻而易举。本节将引导你完成基本操作，帮助你快速上手。

运行模型

Ollama的核心功能之一是能够轻松地运行各种预训练语言模型。例如，要运行Llama 2模型，你只需要打开终端或命令提示符，输入以下命令：

ollama run llama2

这条命令告诉Ollama从其模型库中找到Llama 2模型并运行它。运行该命令后，Ollama将自动处理模型的下载（如果尚未下载）和初始化过程，最后提供一个交互式界面，让你可以直接与模型对话。

与模型交流

启动模型后，Ollama的CLI将转变为一个交互式环境，你可以直接输入问题或指令，模型则会根据其训练和能力生成响应。比如，你可以尝试向Llama 2模型提问：

&gt;&gt;&gt; What is Ollama?

模型会根据其知识库和训练数据给出相应的回答。这个过程不仅展示了模型的交互能力，也让你能够评估不同模型对特定问题的回答质量。

模型库

Ollama提供了一个广泛的模型库，支持多种不同参数和大小的模型，以满足各种用例和性能需求。以下是一些示例模型及其特征，包括参数量、大小和如何快速启动这些模型。

常用模型概览

Llama 2：拥有7B参数，大小约为3.8GB，是一个多功能的语言模型，适用于多种文本生成和理解任务。
Mistral：也是7B参数，大小约为4.1GB，专注于提供更加流畅和连贯的文本生成。
Dolphin Phi：参数量为2.7B，大小1.6GB，设计用于理解和生成高质量的对话内容。
Neural Chat：7B参数，4.1GB大小，优化了与用户的交互体验和对话质量。
Code Llama：同样是7B参数，3.8GB大小，专为代码生成和辅助编程任务设计。
Llama 2 Uncensored：提供未经过滤的回答版本，参数和大小与Llama 2相同。
Gemma：提供2B和7B两种参数版本，专注于特定领域的知识查询和生成。

运行模型示例

运行这些模型只需简单的命令，例如，要运行Code Llama模型，你可以使用以下命令：

ollama run codellama

这会启动Code Llama模型，让你可以开始进行编程相关的查询或请求代码生成。

模型资源需求

运行大型模型需要足够的系统资源。一般而言，运行7B参数模型至少需要8GB的RAM，运行13B模型推荐使用16GB RAM，而运行更大的模型，如70B参数的Llama 2，可能需要32GB或更多的RAM。

自定义模型

Ollama不仅提供了丰富的预训练模型库，还支持高度的模型自定义和扩展能力。这意味着开发者可以根据特定的需求调整模型参数，或者导入已有的模型，以此来创建更加个性化的AI应用。以下是几种自定义模型的方法。

从GGUF导入模型

Ollama支持从GGUF（一种常见的模型格式）直接导入模型。要实现这一点，首先需要创建一个名为Modelfile的文件，该文件包含指向你想要导入模型的本地文件路径的FROM指令。例如：

FROM ./your-model-path.gguf

然后，使用以下命令在Ollama中创建模型：

ollama create your-model-name -f Modelfile

完成这些步骤后，你的模型就会被导入到Ollama中，并可以使用ollama run命令来运行它。

从PyTorch或Safetensors导入

对于那些使用PyTorch或Safetensors格式的模型，Ollama同样提供了导入支持。你可以参考Ollama的导入指南来了解详细的导入步骤和需要的配置。

自定义提示词

在Ollama中，你还可以自定义模型的启动提示词来调整其行为。例如，要自定义llama2模型，你首先需要拉取该模型：

ollama pull llama2

然后，创建一个Modelfile，在其中设置参数和系统消息：

FROM llama2

<span class="c1"># 设置创造力参数，1表示更高的创造性，较低则表示更加连贯</span>
PARAMETER temperature <span class="m">1</span>

<span class="c1"># 设置系统消息</span>
SYSTEM <span class="s2">"""
</span><span class="s2">You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
</span><span class="s2">"""</span>

创建并运行自定义模型：

ollama create custom-model-name -f Modelfile
ollama run custom-model-name

通过这种方式，你可以精细控制模型的行为，创建出符合特定场景需求的自定义AI助手。

CLI参考

Ollama的命令行界面（CLI）为用户提供了一系列强大的命令，用于创建、管理和运行模型。通过CLI，用户可以轻松地与Ollama交互，执行各种操作。以下是一些核心CLI命令的参考，帮助你更高效地使用Ollama。

创建模型

使用ollama create命令来根据Modelfile创建一个新模型。这使得你可以将自定义模型或导入的模型添加到本地Ollama环境中。

ollama create mymodel -f ./Modelfile

拉取模型

通过ollama pull命令，你可以从Ollama的模型库中下载模型到本地。

ollama pull llama2

这个命令也可以用来更新本地模型，确保你使用的是最新版本。

移除模型

如果你需要删除本地的模型，可以使用ollama rm命令。

ollama rm mymodel

复制模型

ollama cp命令允许你复制一个模型，可以用于测试不同的配置或参数。

ollama cp original-model copied-model

多行输入

Ollama支持多行输入，这在处理复杂的文本或代码时非常有用。你可以使用三个引号"""来包围多行文本。

&gt;&gt;&gt; <span class="s2">"""
</span><span class="s2">Your multi-line
</span><span class="s2">input goes here.
</span><span class="s2">"""</span>

多模态模型

Ollama还支持多模态模型的运行，这意味着你可以处理图像、文本等多种类型的输入。

&gt;&gt;&gt; What<span class="err">'</span>s in this image? /path/to/image.png

作为参数传入提示

Ollama允许你将提示作为参数传递给模型，这在自动化脚本中非常有用。

$ ollama run model-name <span class="s2">"Your prompt here"</span>

列出本地模型

使用ollama list命令可以查看你的计算机上安装的所有Ollama模型。

ollama list

高级功能和REST API

Ollama不仅提供了一个功能丰富的CLI，还提供了REST API，使得开发者可以通过HTTP请求与Ollama交互，实现更高级的功能和集成。这一部分将介绍Ollama的一些高级功能，以及如何使用REST API来生成响应和与模型进行交互。

构建和运行本地版本

对于想要深入研究Ollama或自定义其功能的开发者，Ollama支持本地构建。你可以从源代码开始，使用如下命令安装必要的依赖，然后构建Ollama：

brew install cmake go
go generate ./...
go build .

构建完成后，使用以下命令启动Ollama服务器：

./ollama serve

然后，在另一个终端窗口中，你可以运行模型：

./ollama run your-model

这种方式提供了最大程度的灵活性，允许你根据需要修改和扩展Ollama。

使用REST API

Ollama的REST API提供了一个简单的方式，通过编程的方法运行和管理模型。以下是一些基本的API调用示例：

生成响应

你可以使用/api/generate端点向特定模型发送提示，并获取生成的响应：

curl http://localhost:11434/api/generate -d <span class="s1">'{
</span><span class="s1">  "model": "your-model-name",
</span><span class="s1">  "prompt": "Why is the sky blue?"
</span><span class="s1">}'</span>

与模型聊天

Ollama也支持通过/api/chat端点进行对话式的交互：

curl http://localhost:11434/api/chat -d <span class="s1">'{
</span><span class="s1">  "model": "your-model-name",
</span><span class="s1">  "messages": [
</span><span class="s1">    { "role": "user", "content": "Hello there!" }
</span><span class="s1">  ]
</span><span class="s1">}'</span>

这些API使得Ollama可以被集成到各种应用中，从简单的命令行工具到复杂的Web应用都可以利用Ollama的强大功能。

总结

随着人工智能技术的迅速发展，大型语言模型已经成为推动许多行业创新的关键工具。Ollama作为一个强大的本地语言模型运行环境，为开发者提供了前所未有的灵活性和控制能力。无论是进行学术研究、产品开发还是个人探索，Ollama都能够满足从基础到高级的多样化需求。

本指南旨在为你提供一个关于如何安装、使用和自定义Ollama的全面概览。从基础的模型运行到复杂的自定义和API交互，我们尽可能地覆盖了所有关键方面，以确保你能够充分利用Ollama的潜力。正如我们所见，Ollama不仅简化了大型模型的本地运行过程，还开放了广泛的自定义选项，让每位开发者都能按照自己的需求塑造和优化模型。

在探索Ollama的过程中，我们鼓励你不断实验和学习。每个模型和自定义选项都打开了新的可能性，无论是提高工作效率、探索新的AI应用，还是解锁独特的创新路径。随着你深入使用Ollama，你将更加了解如何将这些强大的工具应用到你的项目和研究中。

我们希望这篇指南能成为你在Ollama旅程中的有价值的资源。人工智能的未来充满了无限可能，通过像Ollama这样的工具，我们每个人都能在这个不断变化的领域中找到自己的位置。不断探索，永远学习——这是每位开发者前进的动力。让我们一起，用Ollama解锁大型语言模型的潜力，创造出更智能、更互联的世界。

所以你打开ollama 的时候服务就已经开了，至于你通过api调用的是什么问题，和你run没有关系，而是和你接口的model参数有关系