AI大语言模型LLM学习-本地部署大语言模型(Ollama)

系列文章

1. AI大语言模型LLM学习-入门篇
2. AI大语言模型LLM学习-Token及流式响应
3. AI大语言模型LLM学习-WebAPI搭建
4.AI大语言模型LLM学习-基于Vue3的AI问答页面
5.AI大语言模型LLM学习-语义检索(RAG前导篇)
6.AI大语言模型LLM学习-RAG技术及代码实现
7.AI大语言模型LLM学习-RAG知识点测试题（含答案）

---

前言

---

在本地运行大语言模型有诸多优点：比如可以保护隐私、不会产生费用、可以无视网络问题、可以尝鲜各种开源模型等。
本文主要介绍如何在 Windows 系统快速部署 Ollama 开源大语言模型运行工具，同时为了简化各位网友的WebUI的搭建过程，本文将提供一站式搭建包供大家免费下载安装和部署。

---

一、Ollama下载及使用

---

1.1 Ollama介绍

Ollama是一个强大的运行AI模型的工具。
Ollama的核心功能

• 易于安装和使用：Ollama 支持 macOS、Windows 和 Linux，提供了简洁明了的安装和运行指令，让用户无需深入了解复杂的配置即可启动和运行。
• 丰富的模型库：通过Ollama，用户可以访问和运行包括 Llama 2、Mistral 和 Dolphin Phi 在内的多种大型语言模型。这为开发者和研究者提供了极大的便利。
• 高度可定制：Ollama 允许用户通过 Modelfile 定义和创建自定义模型，满足特定应用场景的需求。
• 优化的性能：即使在普通的个人电脑上，Ollama 也能通过优化运行效率，支持运行较小的模型，为用户提供实验和测试的环境。

1.2 Ollama安装

Ollama下载地址：https://ollama.com/download
下载完成后，直接点击安装：

直接在网站下载可能会很慢，本文提供了CSDN免费下载资源，需要的话点击下面的链接进行下载

• Ollama软件windows安装包(版本0.3.10)

1.3 Ollama模型下载

模型下载和运行均可以使用下面的命名：

ollama run qwen2:7b

注意： 运行7B模型至少需要8GB内存, 运行13B模型需要16GB, 33B模型需要32G。

查看已下载的模型并运行模型进行对话：

如果想尝试不同的模型，可以进入此页面搜索，选择想要下载的模型，页面上会显示模型下载命令。
https://ollama.com/library?sort=popular

---

二、1分钟完成WebUI的搭建

---

本章节介绍提供的一键部署包的安装和使用方法（资源免费提供，不需要任何积分）。

• AI智能对话前端Windows一键部署包

2.1安装方法

下载解压文件后，以管理员身份执行install.bat文件即可，如果电脑安装了安全卫士，在弹窗中选择允许即可。

2.2运行效果展示

• 默认地址： http://127.0.0.1:8090/

---

2.3补充说明

一键部署包整合了三个开源项目：nginx+WinSW+ollama-ui，下面提供了三个开源项目的地址，喜欢动手的朋友们可以去了解下，比如修改web服务端口，修改html交互效果及页面样式等。

• nginx: https://nginx.org/en/download.html
• WinSW :https://github.com/winsw/winsw/releases
  WinSW的使用可参考我的好兄弟大佬超的博文中有关【WinSW】的使用介绍：Windows部署Jar包的三种方式
• ollama-ui:https://github.com/ollama-ui/ollama-ui

一键部署包原理：利用WinSW将nginx封装成windows服务，使用nginx把Ollama的webAPI进行代理转发，ollama-ui的前端页面打包在nginx的html目录下，解决api和webUI跨域问题。

---

三、扩展知识

---

3.1 Ollama配置修改

Ollama默认的安装路径及模型路径都是C盘，大模型都很大，可以按照如下说明进行默认模型存储位置配置的修改，配置修改后需要重启服务，之前的模型可以手工复制到新的路径。

默认安装后的目录：C:\Users\username\AppData\Local\Programs\Ollama
默认安装的模型目录：C:\Users\username.ollama
默认的日志文件目录：C:\Users\username\AppData\Local\Ollama

注意：上述路径中的username是变量哦，一般是Administrator，也可能是zhangsan或者zhaowu，也可以是‘张三’或者‘李四’,需要根据个人电脑的情况进行调整！

• 模型存储位置修改

setx OLLAMA_MODELS "E:\ollama_model"

当然也可以使用windows配置页面进行修改：

其它参数介绍：

OLLAMA_HOST

接口地址，默认值：0.0.0.0:11434

OLLAMA_ORIGINS

接口允许的请求来源,默认值：127.0.0.1，默认只允许本机调用。

linux环境下，可以修改/etc/systemd/system/ollama.service文件，例如：

Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_MODELS=/data/ollama/.ollama/models"

3.2 ollama项目地址

https://github.com/ollama/ollama

3.3 ollama的API服务

• ollama默认API地址
  http://127.0.0.1:11434

3.4 代码调用

在前面几篇文章中，我们一直调用的是阿里的大模型API接口：

• 依赖安装

pip install langchain_openai

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate

api_key = "api_key(平台注册获得)"
llm = ChatOpenAI(
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
    api_key=api_key,
    model="qwen2-1.5b-instruct",
)
prompt_template = ChatPromptTemplate.from_messages([
    ("system", "你是一个很出色的交通警察."),
    ("user", "{input}")
])

#使用|操作符将prompt_template和llm连接在一起，创建一个chain对象。
chain =prompt_template | llm

#使用invoke方法调用chain对象，传入用户的输入，并获取响应。
response = chain.invoke(input="请你给违反交通规则的小朋友讲解危害！")

print(response.content)

如果需要调用本地的大模型API接口，调整url地址及模型名即可：

api_key = "ollama默认没有配置key"
llm = ChatOpenAI(
    base_url="http://127.0.0.1:11434/v1",
    api_key=api_key,
    model="qwen2:7b",
)