2024 Ollama 一站式解决在Windows系统安装、使用、定制服务与实战案例

风吹落叶花飘荡

已于 2024-08-28 19:15:30 修改

阅读量1.2k

点赞数 24

分类专栏： AI参与的学习学习笔记文章标签： windows

于 2024-08-28 04:31:28 首次发布

本文链接：https://blog.csdn.net/qq_51116518/article/details/141613543

版权

学习笔记同时被 2 个专栏收录

22 篇文章 3 订阅

订阅专栏

AI参与的学习

19 篇文章 3 订阅

订阅专栏

2024 Ollama 一站式解决在Windows系统安装、使用、定制服务与实战案例

一、前言

各位未来的开发者们请上座，下面教程走完大致需要40分钟就可以让掌握大模型本地化部署与使用。

1.Ollama介绍

Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。Ollama的目标是使大型语言模型的部署和交互变得简单，无论是对于开发者还是对于终端用户。

2.支持的操作系统

Ollama支持多种操作系统和Docker，包括但不限于：

macOS：适用于所有现代版本的macOS。
Windows：支持Windows 10及更高版本。
Linux：支持多种Linux发行版，如Ubuntu、Fedora等。
Docker：通过Docker容器，Ollama可以在几乎任何支持Docker的环境中运行。

这种广泛的操作系统支持确保了Ollama的可用性和灵活性，使得不同环境下的用户都能轻松使用。当然为了确保文章篇幅不过于臭长，只讲了Windows的部分，其他系统如果想要欢迎在下面留言。

二、Ollama的安装

安装Ollama的步骤相对简单，在这里我主要从两个方法：1、官方路径下载。2、百度网盘下载。方法一可以确保你载的一定是最新的，不过会有一些步骤。方法二则比较便捷。

1. 方法一：官网渠道安装

官方网页：https://ollama.com/download/windows
在这里插入图片描述

访问官方网站：打开浏览器，访问Ollama的官方网站。
注册并登录：进入官网后注册并登录
下载安装包：选择Windows，选择相应的安装包进行下载。
运行安装程序：下载完成后，运行安装包，按照提示完成安装即可没有什么需要特别注意的。
验证安装：安装完成后，可以通过命令行输入ollama --version命令来验证是否安装成功。
注：官方的windows包不是很稳定，没登录载必报错。登录载概率报错。遇到一直这种情况，可以试试更换vpn的服务器。一直解决不了请采用方法二：百度网盘。

2. 方法二：百度网盘下载并安装

通过网盘分享的文件：OllamaSetup.exe
链接: https://pan.baidu.com/share/init?surl=H_gzQ5mQaGxx7cU5f6LPXw?pwd=55kn
提取码: 55kn
后面的第四步与第五步与方法一相同

三、Ollama的使用

1. 控制台使用

（1）拉取并运行模型

ollama run 目标模型:大小

比如：ollama run qwen2:0.5b
比如：ollama run llama3.1

我怎么知道目标模型有多少B，以及如何查看ollama支持哪些模型怎么安装呢？可以在ollama的models界面找模型，点进去可以看到这个模型的介绍以及有多少种型号：https://ollama.com/library

（2）查询目前ollama已下载的模型

ollama list

在这里插入图片描述

（3）查询模型信息

ollama show qwen2:0.5b

（4）删除模型

ollama rm qwen2:0.5b

2. REST API服务使用

（1）ollama 服务启动

在浏览器中输入http://localhost:11434
如果看到：Ollama is running
说明Ollama的服务已经自动启动成功，没有发生端口冲突导致的服务自动启动失败。
如果有异常，说端口冲突，（1）杀掉11434端口的进程。（2）修改ollama的服务监听端口。
针对（2）可以临时修改端口并启动服务：

set OLLAMA_HOST=127.0.0.1:11436
ollama serve

（2）ollama服务使用

复制下面这一段curl指令在cmd中运行

curl http://localhost:11434/api/generate -d "{ \"model\": \"qwen2:0.5b\", \"prompt\": \"Why is the sky blue?\" }"

注1：注意curl的端口与ollama启动的端口对应。
注2：如果返回：{“error”:“model “qwen2:0.5b” not found, try pulling it first”}那是因为删除了，重新运行：ollama run qwen2:0.5b 拉取下载

3. Python 调用

（1）ollama的库和工具

在成功安装olama之后，可以利用它提供的多个库和工具来扩展您的开发工作。ollama主要支持Pyhon和JavaScript两种编程语言的库分别是ollama-python 和 ollama-js，这两个库使得在相应的语言环境中使用ollama变得更加方便和高效。

（2）ollama-python使用

ollama-python 库提供了一个Python接口来与ollama交互，使得Python开发者可以轻松地在他们的项目中集成和运行大型语言模型。

ollama-python安装

pip install ollama

用法

import ollama
response = ollama.chat(model='llama3.1', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])
print(response['message']['content'])

流式处理响应
可以通过设置来启用响应流式处理，修改函数调用以返回 Python 生成器，其中每个部分都是流中的一个对象。stream=True

import ollama

stream = ollama.chat(
    model='llama3.1',
    messages=[{'role': 'user', 'content': 'Why is the sky blue?'}],
    stream=True,
)

for chunk in stream:
  print(chunk['message']['content'], end='', flush=True)

注：更多示例请查看：https://pypi.org/project/ollama/
注：如果报错： raise ResponseError(e.response.text, e.response.status_code) from None
ollama._types.ResponseError，可以把梯子关掉再执行一次看看。

四、ollama web端

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main