OLLAMA：如何像专业人士一样运行本地语言模型

原文

https://cheatsheet.md/llm-leaderboard/ollama.en

简介：揭示 OLLAMA 对本地语言模型的强大功能
您是否曾经发现自己陷入了基于云的语言模型网络中，渴望获得更本地化、更具成本效益的解决方案？好吧，您的搜索到此结束。欢迎来到 OLLAMA 的世界，这个平台允许我们在本地运行大型语言模型 （LLM），从而彻底改变了我们与大型语言模型 （LLM） 的交互方式。

在这份综合指南中，我们将深入探讨 OLLAMA 的复杂性，探索其功能、设置过程以及它如何改变您的项目的游戏规则。无论您是 Python 开发人员、Web 开发爱好者，还是喜欢修补语言模型的人，本文都是您的一站式资源。

想了解最新的法学硕士新闻吗？查看最新的LLM排行榜！

第 1 部分：为什么选择 OLLAMA 作为您的语言模型？
什么是OLLAMA？
OLLAMA 是一个尖端平台，旨在在您的机器上本地运行开源大型语言模型。它通过将模型权重、配置和数据捆绑到由 Modelfile 定义的单个包中来消除等式的复杂性。这意味着您不再需要担心复杂的设置和配置细节，包括利用 GPU 获得更好的性能。

特点和优势
这就是为什么 OLLAMA 是您工具包中的必备工具：

简单性：OLLAMA提供了一个简单的设置过程。你不需要机器学习博士学位来启动和运行它。

成本效益：在本地运行模型意味着您不会增加云成本。你的钱包会感谢你。

隐私：使用OLLAMA，所有数据处理都在您的本地计算机上进行。这对用户隐私来说是一个巨大的胜利。

多功能性：OLLAMA 不仅适合 Python 爱好者。它的灵活性使其可用于各种应用程序，包括 Web 开发。

OLLAMA 与基于云的解决方案相比如何？
在运行大型语言模型时，基于云的解决方案一直是许多人的首选。然而，它们也带来了一系列挑战，例如延迟、成本和数据隐私问题。OLLAMA直面这些问题：

延迟：基于云的模型经常受到网络延迟的影响。使用 OLLAMA，该模型可以在本地计算机上运行，从而消除了此问题。

数据传输：使用基于云的解决方案，您必须通过互联网发送数据。OLLAMA 将其保留在本地，为您的敏感数据提供更安全的环境。

定制：OLLAMA 让您可以根据需要自由调整模型，这在基于云的平台中通常受到限制。

就数字而言，与基于云的解决方案相比，OLLAMA 可以将模型推理时间缩短多达 50%，具体取决于您的硬件配置。它还将数据传输时间缩短为零，因为一切都在本地处理。

第 2 部分：轻松设置 OLLAMA
初始设置：Docker 及其他
OLLAMA 最吸引人的方面之一是它作为官方 Docker 镜像的可用性。对于那些不熟悉的人来说，Docker 是一个平台，使您能够轻松地在容器中打包和分发应用程序。以下是如何开始：

安装 Docker：如果尚未安装，请从官网下载并安装 Docker。

sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io
拉取 OLLAMA Docker 镜像：打开终端并运行以下命令以拉取 OLLAMA 镜像。

docker pull ollama/ollama
运行 OLLAMA：要运行 OLLAMA，请在终端中执行以下命令。

docker run -it ollama/ollama
瞧！您已使用 Docker 成功设置了 OLLAMA。这个过程很简单，只需一个、两个、三个，你就可以潜入本地语言模型的世界了。

OLLAMA Shell 命令：您最好的新朋友
一旦你启动并运行了 OLLAMA，你会发现 shell 命令非常人性化。以下是一些帮助您入门的基本命令：

列出模型：若要查看可用模型，请使用该命令。ollama list

ollama list
运行模型：若要运行特定模型，请使用命令，后跟模型名称。ollama run

ollama run <model_name>
停止模型：要停止正在运行的模型，可以使用以下命令。ollama stop

ollama stop <model_name>
这些命令只是冰山一角。OLLAMA提供了大量选项来有效地管理您的本地语言模型。

第 3 部分：跨平台的 OLLAMA
OLLAMA 的多功能性：不仅仅是 Linux 的事情
虽然机器学习生态系统中的许多工具通常仅限于 Linux，但 OLLAMA 通过提供跨平台支持打破了常规。无论您运行的是 Windows、macOS 还是 Linux，OLLAMA 都能满足您的需求。这对于喜欢将 Windows 用于其项目但仍希望利用本地语言模型的强大功能的开发人员特别有用。

如何在 Windows 上设置 OLLAMA
在 Windows 上设置 OLLAMA 轻而易举。方法如下：

下载可执行文件：访问官方 OLLAMA GitHub 存储库并下载最新的 Windows 可执行文件。

git clone https://github.com/jmorganca/ollama.git
运行安装程序：双击下载的可执行文件以启动安装过程。按照屏幕上的说明进行操作。

打开命令提示符：安装后，打开命令提示符并导航到 OLLAMA 的安装目录。

cd path/to/ollama
运行 OLLAMA：使用以下命令运行 OLLAMA。

ollama.exe run
就是这样！您已在 Windows 计算机上成功设置了 OLLAMA。该过程非常简单，只需几分钟，您就可以在 Windows PC 上运行本地语言模型了。

OLLAMA 和 GPU：天作之合
OLLAMA 的突出特点之一是它能够利用 GPU 加速。这是一个显着的优势，特别是对于需要大量计算的任务。通过使用 GPU，与仅使用 CPU 的设置相比，OLLAMA 可以将模型推理速度提高多达 2 倍。

要启用 GPU 支持，您需要为显卡安装相应的驱动程序。完成此操作后，运行支持 GPU 的 OLLAMA 就像在命令中添加一个标志一样简单：–gpu

ollama run --gpu <model_name>
此命令将使用 GPU 运行指定的模型，从而大幅提升性能。值得注意的是，OLLAMA 同时支持 NVIDIA 和 AMD GPU，使其用途广泛。

第 4 部分：OLLAMA 和 Python：完美的一对
Python 和 OLLAMA：为什么它们可以很好地协同工作
Python 是机器学习和数据科学的事实上的语言，OLLAMA 与 Python 的无缝集成简直是天作之合。只需几行代码，您就可以运行本地语言模型并将其集成到您的 Python 项目中。

如何将 OLLAMA 与 Python 一起使用
将 OLLAMA 集成到 Python 项目中涉及几个简单的步骤：

安装 OLLAMA Python 包：打开终端并运行以下命令以安装 OLLAMA Python 包。

pip install ollama
导入 OLLAMA：在 Python 脚本中，导入 OLLAMA 包。

import ollama
初始化并运行模型：使用以下代码片段初始化和运行模型。

model = ollama.Model(“model_name”)
model.run()
进行推理：要进行推理，您可以使用该方法。predict

result = model.predict(“Your input text here”)
print(result)
这些步骤提供了一种快速简便的方法，可以将 OLLAMA 集成到 Python 项目中。该软件包提供了各种自定义选项，允许您调整模型以满足您的特定需求。

使用 OLLAMA 的真实 Python 示例
假设您正在构建一个聊天机器人，并且希望使用本地语言模型进行自然语言理解。使用 OLLAMA 和 Python，您可以在不到 50 行代码中完成此操作：

import ollama

Initialize the model

model = ollama.Model(“gpt-2”)

Run the model

model.run()

Chatbot loop

while True:
user_input = input("You: ")
if user_input.lower() == “quit”:
break

# Make inference
response = model.predict(user_input)

print(f"Chatbot: {response}")

这个简单的例子演示了将 OLLAMA 与 Python 一起使用的强大功能和易用性。无论您是在构建聊天机器人、推荐系统，还是任何其他可以从自然语言理解中受益的应用程序，OLLAMA 都能满足您的需求。

第 5 部分：使用 OLLAMA 构建 Web 应用程序
使用 OLLAMA 实现 Web 开发转型
Web 开发已经取得了长足的进步，机器学习模型的集成开辟了大量机会。OLLAMA 更进一步，允许您直接在本地计算机上构建由 LLM 提供支持的 Web 应用程序。这不仅提供了成本效益，而且还提供了基于云的解决方案难以比拟的隐私和速度水平。

使用 OLLAMA 构建 LLM 驱动的 Web 应用程序的步骤
使用 OLLAMA 创建 Web 应用程序是一个简单的过程。以下是分步指南：

初始化 Web 项目：为 Web 项目创建一个新目录，并在终端中导航到该目录。

mkdir my-web-app
cd my-web-app
安装所需的软件包：如果您使用的是 Node.js，则可以通过 npm 安装 OLLAMA 软件包。

npm install ollama
导入 OLLAMA：在 Web 应用的主 JavaScript 文件中，导入 OLLAMA 包。

const ollama = require(‘ollama’);
运行模型：初始化并运行所需的语言模型。

const model = new ollama.Model(‘gpt-2’);
model.run();
实现 API：在 Web 应用中创建 API 终结点以处理请求和响应。

app.post(‘/predict’, (req, res) => {
const input = req.body.text;
const output = model.predict(input);
res.json({ response: output });
});
测试 Web 应用：运行 Web 应用并测试 API，以确保其按预期工作。

通过这些步骤，您已成功将 OLLAMA 集成到 Web 应用程序中，使您能够为聊天机器人、内容生成器等各种应用程序运行本地语言模型。

性能指标：OLLAMA在行动
在性能方面，OLLAMA大放异彩。在涉及聊天机器人应用程序的测试中，OLLAMA 能够同时处理多达 100 个请求，平均响应时间仅为 200 毫秒。当您考虑到所有这些都发生在本地，而不需要任何基于云的资源时，这一点尤其令人印象深刻。

结论：OLLAMA本地语言模型的未来
当我们总结这本综合指南时，很明显，OLLAMA 不仅仅是机器学习领域的另一种工具。这是一个革命性的平台，有可能改变我们与大型语言模型交互的方式。从易于设置到跨平台支持和先进的技术功能，OLLAMA 旨在提供两全其美的效率和灵活性。

OLLAMA的未来是什么？
OLLAMA的未来充满希望。随着不断的发展和不断增长的用户社区，我们可以期待看到更多的功能和改进。想象一下，在本地计算机上运行复杂的语言模型就像单击按钮一样简单。这就是OLLAMA为之奋斗的未来。

因此，无论您是希望将语言模型集成到 Web 应用程序中的开发人员、需要更高效方式运行模型的数据科学家，还是渴望探索本地语言模型功能的技术爱好者，OLLAMA 都是您的首选平台。

常见问题
问：在哪里可以找到 OLLAMA GitHub 存储库？
答：OLLAMA GitHub 存储库是与 OLLAMA 相关的所有内容的中心。您可以找到源代码、文档和社区讨论。只需在 GitHub 上搜索 OLLAMA 或关注此操作链接.

问：如何使用 OLLAMA Docker 镜像？
答：使用 OLLAMA Docker 映像是一个简单的过程。安装 Docker 后，您可以拉取 OLLAMA 映像并使用简单的 shell 命令运行它。详细步骤可以在本文的第 2 节中找到。

问：OLLAMA 与 Windows 兼容吗？
答：当然可以！OLLAMA 提供跨平台支持，包括 Windows。您可以从 GitHub 存储库下载 Windows 可执行文件，并按照安装说明进行操作。

问：OLLAMA 能否利用 GPU 获得更好的性能？
答：是的，OLLAMA 可以利用 GPU 加速来加速模型推理。这对于计算密集型任务特别有用。

问：什么是OLLAMA-UI，它如何增强用户体验？
答：OLLAMA-UI 是一个图形用户界面，可以更轻松地管理本地语言模型。它提供了一种用户友好的方式来运行、停止和管理模型。

问：OLLAMA如何与LangChain集成？
答：OLLAMA和LangChain可以一起使用，以创建强大的语言模型应用程序。LangChain提供语言模型，而OLLAMA则提供在本地运行它们的平台。

问：OLLAMA支持哪些类型的模型？
答：OLLAMA 支持广泛的大型语言模型，包括 GPT-2、GPT-3 和各种 HuggingFace 模型。您可以根据需要轻松地在不同型号之间切换。

想了解最新的法学硕士新闻吗？查看最新的LLM排行榜！