2024 Ollama 一站式解决在Windows系统安装、使用、定制服务与实战案例

已于 2024-11-03 05:59:33 修改
阅读量4.8k 收藏 33
点赞数 25
分类专栏： AI参与的学习 学习笔记 文章标签： windows
于 2024-08-28 04:31:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51116518/article/details/141613543
版权

2024 Ollama 一站式解决在Windows系统安装、使用、定制服务与实战案例

文章目录

一、前言

各位未来的开发者们请上座，下面教程走完大致需要40分钟就可以让掌握大模型本地化部署与使用。

1.Ollama介绍

Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。Ollama的目标是使大型语言模型的部署和交互变得简单，无论是对于开发者还是对于终端用户。

2.支持的操作系统

Ollama支持多种操作系统和Docker，包括但不限于：

  • macOS：适用于所有现代版本的macOS。
  • Windows：支持Windows 10及更高版本。
  • Linux：支持多种Linux发行版，如Ubuntu、Fedora等。
  • Docker：通过Docker容器，Ollama可以在几乎任何支持Docker的环境中运行。

这种广泛的操作系统支持确保了Ollama的可用性和灵活性，使得不同环境下的用户都能轻松使用。当然为了确保文章篇幅不过于臭长，只讲了Windows的部分，其他系统如果想要欢迎在下面留言。

二、Ollama的安装

安装Ollama的步骤相对简单，在这里我主要从两个方法：1、官方路径下载。2、百度网盘下载。方法一可以确保你载的一定是最新的，不过会有一些步骤。方法二则比较便捷。

1. 方法一：官网渠道安装

官方网页：https://ollama.com/download/windows
在这里插入图片描述

  1. 访问官方网站：打开浏览器，访问Ollama的官方网站。

  2. 注册并登录：进入官网后注册并登录

  3. 下载安装包：选择Windows，选择相应的安装包进行下载。

  4. 运行安装程序：下载完成后，运行安装包，按照提示完成安装即可没有什么需要特别注意的。在这里插入图片描述

  5. 验证安装：安装完成后，可以通过命令行输入ollama --version命令来验证是否安装成功。在这里插入图片描述
    注：官方的windows包不是很稳定，没登录载必报错。登录载概率报错。遇到一直这种情况，可以试试更换vpn的服务器。一直解决不了请采用方法二：百度网盘。

2. 方法二：百度网盘下载并安装

通过网盘分享的文件：OllamaSetup.exe
链接: https://pan.baidu.com/share/init?surl=H_gzQ5mQaGxx7cU5f6LPXw
提取码: 55kn
后面的第四步与第五步与方法一相同

三、Ollama的使用

1. 控制台使用

（1）拉取并运行模型

ollama run 目标模型:大小

比如：ollama run qwen2:0.5b
比如：ollama run llama3.1
在这里插入图片描述
我怎么知道目标模型有多少B，以及如何查看ollama支持哪些模型怎么安装呢？可以在ollama的models界面找模型，点进去可以看到这个模型的介绍以及有多少种型号：https://ollama.com/library
在这里插入图片描述

（2）查询目前ollama已下载的模型

ollama list

在这里插入图片描述

（3）查询模型信息

ollama show qwen2:0.5b

（4）删除模型

ollama rm qwen2:0.5b

2. REST API服务使用

（1）ollama 服务启动

在浏览器中输入http://localhost:11434
如果看到：Ollama is running
说明Ollama的服务已经自动启动成功，没有发生端口冲突导致的服务自动启动失败。
如果有异常，说端口冲突，（1）杀掉11434端口的进程。（2）修改ollama的服务监听端口。
针对（2）可以临时修改端口并启动服务：

set OLLAMA_HOST=127.0.0.1:11436
ollama serve

（2）ollama服务使用

复制下面这一段curl指令在cmd中运行

curl http://localhost:11434/api/generate -d "{ \"model\": \"qwen2:0.5b\", \"prompt\": \"Why is the sky blue?\" }"

注1：注意curl的端口与ollama启动的端口对应。
注2：如果返回：{“error”:“model “qwen2:0.5b” not found, try pulling it first”}那是因为删除了，重新运行：ollama run qwen2:0.5b 拉取下载

更多API在文档：https://github.com/ollama/ollama/blob/main/docs/api.md

3. Python 调用

（1）ollama的库和工具

在成功安装olama之后，可以利用它提供的多个库和工具来扩展您的开发工作。ollama主要支持Pyhon和JavaScript两种编程语言的库分别是ollama-python 和 ollama-js，这两个库使得在相应的语言环境中使用ollama变得更加方便和高效。

（2）ollama-python使用

ollama-python 库提供了一个Python接口来与ollama交互，使得Python开发者可以轻松地在他们的项目中集成和运行大型语言模型。

ollama-python安装

pip install ollama

用法

import ollama
response = ollama.chat(model='llama3.1', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])
print(response['message']['content'])

流式处理响应
可以通过设置 来启用响应流式处理，修改函数调用以返回 Python 生成器，其中每个部分都是流中的一个对象。stream=True

import ollama

stream = ollama.chat(
    model='llama3.1',
    messages=[{'role': 'user', 'content': 'Why is the sky blue?'}],
    stream=True,
)

for chunk in stream:
  print(chunk['message']['content'], end='', flush=True)

注：更多示例请查看：https://pypi.org/project/ollama/
注：如果报错： raise ResponseError(e.response.text, e.response.status_code) from None
ollama._types.ResponseError，可以把梯子关掉再执行一次看看。

四、ollama web端

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
ollama在windows系统上安装总结以及注意事项
scj0725的博客
04-22 4万+
注意：您应该至少有 8 GB 可用 RAM 来运行 7B 型号，16 GB 来运行 13B 型号，32 GB 来运行 33B 型号。在系统变量中添加一个名为：OLLAMA_MODELS的变量名，路径选择一个合适的位置。然后拉去这个大模型的话，直接复制右边的命令：ollama run llama3。安装模型默认都是安装在c盘的，如果c盘空间不足可以指定安装模型位置。直接点击下载，会根据你的系统自动下载相应的版本。一定要注意，自己的电脑配置是否适合模型的大小。下载完之后，直接点击安装，默认安装到c盘。
ollama教程（window系统）
老王的博客
01-12 1万+
介绍在window操作系统下安装和使用ollama。
Windows安装与配置Ollama
weixin_40280870的博客
01-21 2万+
Windows安装与配置Ollama
Windows下ollama详细安装指南
qq_34446614的博客
02-09 2715
ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。ollama的目标是使大型语言模型的部署和交互变得简单，无论是对于开发者还是对于终端用户。
Windows下载安装Ollama本地运行大模型，新手详细
changyana的博客
11-07 2万+
下载安装Ollama并运行大模型教程，进行系统环境变量配置，新手详细。
Ollama全面指南：安装、使用与高级定制
热门推荐
全世界的博客
05-30 13万+
Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。Ollama的目标是使大型语言模型的部署和交互变得简单，无论是对于开发者还是对于终端用户。Ollama提供了一个直观且用户友好的平台，用于在本地环境中运行大型语言模型。启动Ollama服务：首先，确保Ollama服务已经安装并运行。在命令行中输入以启动服务。选择模型：使用命令查看可用的模型列表。
2024 Windows Ollama 最新0.5.4版本
12-21
截止到202412月21日，Windows Ollama 最新0.5.4版本
Ollama0.5.7 服务安装包windows
02-06
Ollama服务安装包是为Windows操作系统平台设计的软件安装解决方案。该安装包特别指定了版本号0.5.7，表明这是一个特定版本的安装程序，适用于升级或初次安装Ollama服务。Ollama服务可能是一个网络服务程序、开发框架...
ollama 的windows安装包
02-14
在安装和配置软件的过程中，用户可能会关注软件与Windows系统的兼容性，例如需要的Windows版本、软件是否兼容最新更新的系统补丁等。此外，硬件配置要求也需要被考虑，以便软件可以流畅地运行。 软件的安全性与隐私...
在 Windows 上使用 Ollama 配置本地及外网访问
weixin_45131680的博客
05-07 8071
Ollama 是一款开创性的人工智能（AI）和机器学习（ML）工具平台，它极大地简化了 AI 模型的开发和使用过程。它不仅提供了一系列工具，更重要的是，这些工具使用起来非常直观且高效，不管你是 AI 领域的专业人士还是初涉此道的新手，都能在 Ollama 上找到对应的支持。不止于方便使用，Ollama 还让先进的 AI 模型和计算资源的获取不再局限于少数人。对于 AI 和 ML 社区而言，Ollama 的诞生具有里程碑意义，它推动了 AI 技术的普及，让更多的人能够去尝试和实践自己的 AI 创意。
window上安装ollama
JoyceLiu_Ronghua的博客
07-02 1884
Ollama是一个开源项目，旨在提供一个简单、高效的方式来运行大型语言模型（LLMs）。开源：Ollama是完全开源的，这意味着任何人都可以查看、修改和使用其代码。本地运行：Ollama允许用户在自己的硬件上运行大型语言模型，而不需要依赖云服务。多种模型支持：Ollama支持多种预训练的大型语言模型，如GPT、BERT等。易于使用：Ollama提供了简单的命令行界面和API，使得部署和使用模型变得容易。自定义模型：用户可以根据自己的需求训练和微调模型，然后通过Ollama进行部署。高性能。
Ollama 可以在 Windows 上运行了
engchina的专栏
02-16 2万+
Ollama 可以在 Windows 上运行了
Ollama入门（windows版本）
qq_40600379的博客
03-25 5026
通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，如gemma。
在 Windows 环境下安装 Ollama 及 Ollama使用技巧
fx_yzjy101的专栏
02-25 2032
Ollama 是一款支持本地部署和运行大型语言模型（LLM）的开源工具，提供简洁的命令行操作和丰富的模型库。以下是详细安装步骤与实用技巧，助你快速上手。推荐这种安装方法，释放系统盘空间。如果已经安装到系统盘了，用这个方法也可以释放系统盘的空间（将近4.7GB）。点击“Install”按钮，开始安装。
亲测在Windows系统安装、使用、定制Ollama服务
终极量化数据的专栏
11-08 2090
Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。Ollama的目标是使大型语言模型的部署和交互变得简单，无论是对于开发者还是对于终端用户。
Windows系统安装Ollama及常用操作命令指南
weixin_45626288的博客
02-21 2029
Ollama是一个跨平台的开源工具，支持在Windows、Linux和macOS上本地运行大语言模型[1它提供了丰富的模型库，包括Llama、DeepSeek等，并允许用户通过简单的命令行操作快速部署和管理模型[8Ollama为本地部署大语言模型提供了极大的便利，即使是初学者也能快速上手。通过简单的安装步骤和命令行操作，用户可以在本地运行各种开源模型，享受高效、安全的AI体验[1][8如果需要了解更多高级功能，可以参考Ollama的官方文档。
使用Windows安装Ollama大语言模型
Jerryqjr的博客
07-18 480
本文主要介绍如何在Windows系统快速部署Ollama开源大语言模型运行工具，并安装Open WebUI结合cpolar内网穿透软件，实现在公网环境也能访问你在本地内网搭建的大语言模型运行环境。近些年来随着ChatGPT的兴起，大语言模型 LLM（Large Language Model）也成为了人工智能AI领域的热门话题，很多大厂也都推出了自己的大语言模型，并或多或少的开源了自己的大语言模型，今天就来分享一个最近很火，且对于小白来说比较好上手本地部署的运行本地LLM的工具Ollama。
Ollama 安装部署
cliffordl的专栏
02-05 4439
linux 参考：https://blog.csdn.net/zhu7478848/article/details/140514582。在搜索结果中，你会看到 Qwen 的不同版本，如 Qwen 2.5 和 Qwen 2 等，这里我们选择安装 Qwen 2.5 版本。参考：https://blog.csdn.net/zengmingen/article/details/143687404。在任务管理器中，点击“进程”选项卡，找到名为“ollama.exe”和“Ollama.exe”的进程。
Win11系统Ollama安装与使用，以及命令行升级
最新发布
03-26
<think>好的，我现在要处理用户关于在Windows 11上安装、使用Ollama以及通过命令行升级的问题。首先，我需要回顾用户提供的引用内容，确保信息准确。根据引用[2]和[3]，Ollama现在支持Windows作为原生应用，需要NVIDIA显卡和相关驱动、CUDA工具链。用户可能对硬件和软件要求不太清楚，所以第一步应该详细列出这些要求。 接下来，安装步骤需要分点说明，引用[3]提到要安装NVIDIA驱动、CUDA Toolkit，然后是Ollama本身。可能需要指导用户到官方网站下载安装程序，并验证安装是否成功。引用[4]中提到在命令行输入ollama来确认安装，这部分需要包含进去。 然后是关于使用方法，用户可能需要知道如何拉取模型和运行模型。常见的命令如ollama run llama2需要示例出来，同时提醒用户可能需要替换模型名称。此外，OpenWebUI的配置也是用户关心的，引用[1]提到OpenWebUI调用DeepSeek-R1，这部分需要简要说明如何访问Web界面。 关于命令行升级，用户可能不熟悉如何通过命令更新Ollama，需要给出具体的命令步骤，比如停止服务、下载最新版、重新安装。同时，模型升级的命令也需要提及，比如ollama pull命令。 需要注意用户可能的误区，比如硬件是否满足，安装路径是否可以自定义。引用[2]指出安装时可以指定路径，但引用[3]中建议默认路径，可能需要提醒用户注意。此外，驱动和CUDA的版本兼容性也很重要，需要提醒用户确保版本匹配。 最后，生成相关问题时要覆盖常见疑问，比如性能优化、硬件兼容性、模型管理等，确保用户能找到进一步的信息。整个回答需要结构清晰，分步骤说明，避免使用专业术语过多，保持口语化但准确。</think>### Windows 11 下 Ollama 安装、使用与升级指南 #### 一、安装前准备 1. **硬件要求** - NVIDIA 显卡（建议 RTX 系列，显存 ≥8GB）[^3] - 磁盘空间 ≥40GB（推荐 SSD）[^3] - Windows 11 64 位系统[^2] 2. **软件依赖** - **NVIDIA 驱动**：需更新至最新版本[^3] - **CUDA Toolkit**：安装与显卡驱动兼容的版本（如 CUDA 12.x）[^3] #### 二、安装步骤 1. **下载 Ollama** 访问[官网](https://ollama.ai/)下载 Windows 版安装程序。 2. **运行安装程序** - 双击安装包，选择自定义路径（默认路径为 `C:\Program Files\Ollama`） - 安装完成后，Ollama 服务会自动启动并在后台运行。 3. **验证安装** 打开命令行工具（CMD/PowerShell），输入以下命令： ```bash ollama --version ``` 若显示版本号（如 `ollama version 0.1.20`），则安装成功[^4]。 --- #### 三、基础使用方法 1. **拉取模型** 通过命令行下载预训练模型（以 `llama2` 为例）： ```bash ollama pull llama2 ``` 2. **运行模型** ```bash ollama run llama2 ``` 输入提示词（如 "Hello"）即可交互[^1]。 3. **通过 OpenWebUI 调用** - 访问 `http://localhost:11434` 使用 API - 结合 OpenWebUI 配置本地模型（如 DeepSeek-R1）实现可视化操作[^1]。 --- #### 四、命令行升级指南 1. **升级 Ollama 本体** - 停止当前服务： ```bash ollama stop ``` - 下载最新安装包并重新安装。 2. **升级模型** 拉取模型的最新版本： ```bash ollama pull llama2:latest ``` --- #### 五、注意事项 1. **路径问题**：安装时建议选择默认路径，避免权限冲突[^3]。 2. **GPU 兼容性**：若使用 AMD 显卡，需确认 Ollama 版本支持 Radeon GPU。 3. **模型管理**：可通过 `ollama list` 查看已下载模型，`ollama rm <模型名>` 删除旧版本。 --- §§ 相关问题 §§ 1. 如何解决 Ollama 安装后无法识别 NVIDIA 显卡的问题？ 2. Ollama 支持哪些第三方大语言模型？ 3. 如何在 Ollama 中实现多模型并行运行？ 4. Ollama 的 API 如何与其他开发工具（如 Python）集成？ [^1]: Windows 11 下 Ollama 安装与 OpenWebUI 调用 DeepSeek-R1 的详细指南 : OLLAMA win11安装完整指南（安装时指定路径） [^3]: ollama教程（window系统） [^4]: Ollama：实现本地AI大语言模型命令行启动的专业部署方案
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

风吹落叶花飘荡

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值