利用ollama和open-webui本地部署通义千问Qwen1.5-7B-Chat模型

原创 已于 2024-04-23 16:45:54 修改 · 5k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ollama #qwen

于 2024-04-23 16:41:01 首次发布
部署运行你感兴趣的模型镜像

 

目录

1 安装ollama

2 安装open-webui

2.1 镜像下载

3 配置ollama的模型转换工具环境

3.1 下载ollama源码

 3.2 下载ollama子模块

3.3 创建ollama虚拟环境

3.4 安装依赖

3.5 编译量化工具

7 创建ollama模型

8 运行模型

参考文献：

1 安装ollama

curl -fsSL https://ollama.com/install.sh | sh

启动、关闭ollama
systemctl start ollama
systemctl stop ollama
systemctl restart ollama
systemctl status ollama

2 安装open-webui

git clone https://github.com/open-webui/open-webui.git
cd open-webui

这里open-webui的源码其实用不到，直接用下面的镜像就行。 

2.1 镜像下载

官方没有在 docker hub 上发布镜像，而是发布在 ghcr.io，地址在 https://Github.com/open-webui/open-webui/pkgs/container/open-webui

docker pull ghcr.io/open-webui/open-webui:main

如果没有科学上网，很可能会拉不动，可以试试 docker 代理网站：https://dockerproxy.com/，但是会多几个步骤

# 如果拉不动的话加个代理
docker pull ghcr.dockerproxy.com/open-webui/open-webui:main

# 重命名镜像（如果是通过代理下载的）
docker tag ghcr.dockerproxy.com/open-webui/open-webui:main ghcr.io/open-webui/open-webui:main

# 删除代理镜像（如果是通过代理下载的）
docker rmi ghcr.dockerproxy.com/open-webui/open-webui:main

 然后docker images可以看到镜像

docker run -d -p 3006:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui-chw --restart always ghcr.io/open-webui/open-webui:main
2c93ac3c6c911302d4d2926692a7bab64f607317938da71e53ff32798be801da

3 配置ollama的模型转换工具环境

3.1 下载ollama源码

git clone https://github.com/ollama/ollama.git
cd ollama

 3.2 下载ollama子模块

git submodule init
git submodule update llm/llama.cpp

3.3 创建ollama虚拟环境

conda create -n ollama_chw python=3.11
conda activate ollama_chw

3.4 安装依赖

pip install -r llm/llama.cpp/requirements.txt

3.5 编译量化工具

make -C llm/llama.cpp quantize
如果编译llama.cpp的测试工具main，在llama.cpp目录执行make -j，会在当前目录生成main文件。
测试实验./main -m ./model_name

4 5 6 见私人博客

7 创建ollama模型

ollama create chw1.5 -f /data/chw/ollama_20240419/qwen1.5-7B/Modelfile

到了这一步之后，其实在open-webui上就可以看到这个模型了

8 运行模型

ollama run chw1.5

其实这个ollama run就相当于在命令行运行模型，但是我们这里是用open-webui，所以直接ollama create之后就可以用open-webui。

参考文献：

GitHub - ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models.

GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)

llama.cpp部署通义千问Qwen-14B_通义千问gguf model-CSDN博客

适配Ollama的前端界面Open WebUI | 半码博客
🚀 Getting Started | Open WebUI

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

大模型管理工具Ollama搭建及整合springboot
congge_study的博客
06-01 1万+
Ollama搭建与部署使用
ollama集成open-webui本地部署大模型应用
program哲学
04-26 9191
详细介绍如何利用ollama集成open-webui本地部署大模型应用
WebUI 部署 Ollama 可视化对话界面
AllYoung_362的博客
02-25 3549
下载链接为：https://cdn.npmmirror.com/binaries/node/v18.19.0/node-v18.19.0-linux-x64.tar.xz。参考链接：https://github.com/n4ze3m/page-assist/issues/309。官网链接为： https://www.nodejs.com.cn/download.html。克隆 ollama-webui 仓库，切换 ollama-webui 代码的目录。出现报错时，说明网络状态不佳，重试一次即可。
Ollama 结合 Open-WebUI 在本地运行大语言模型
liuqianglong_liu的博客
08-29 2336
OLLAMA_KEEP_ALIVE=-1，模型加载后，默认的Keepalive是5分钟，修改为-1可以让模型持续启动，OLLAMA_KEEP_ALIVE=60 表示 60 秒，OLLAMA_KEEP_ALIVE=10m 表示10分钟。根据Docker Hub ollama主页 https://hub.docker.com/r/ollama/ollama [1]，快速启动容器，注意，：它将模型权重、配置和数据捆绑到一个包中，称为 Modelfile，这有助于优化设置和配置细节，包括 GPU 使用情况。
open-webui 高速下载&Docker本地部署集成远程Ollama
最新发布
山塘小鱼儿的博客
10-17 310
Open WebUI镜像可通过加速地址快速下载：https://docker.aityp.com/r/ghcr.io/open-webui/open-webui。官方部署教程详见Open WebUI官网文档：https://docs.openwebui.com/，提供从镜像拉取到应用部署的完整指南。该镜像托管在GitHub容器注册表，使用国内镜像加速服务可显著提升下载速度。用户只需按照官方文档步骤操作，即可快速完成本地化部署。
OLLAMA部署qwen:7b,与fastgpt集成
wengad的博客
04-18 4911
它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。这里使用的是4.6.8的版本，这里是从github上拉了分支，直接部署在操作系统上的，如果是docker安装，那么请修改对应映射出来的config.local.json,然后重启fastgpt容器即可。注：本文章默认之前fastgpt都已经配置好了，这次只是新增一个qwen:7b的模型对接。在渠道清单中，点击刚才创建的渠道条目的“测试”按钮，如果配置没问题，那么测试可以通过。
本地部署AI大模型三步走（Ollama+通义千问）
2401_85375151的博客
12-19 3112
自ChatGPT在2022年11月30日问世以来，各类人工智能驱动的自然语言处理模型就纷纷冒出来了，它们可以理解和学习人类的语言跟人类进行对话，并能根据聊天的上下文来进行互动。目前ChatGPT-4在某些专业知识领域已经达到甚至超过博士生的水平了。在翻译、创作、知识问答、图片生成、视频剪辑、编程、测试、检验等等领域，AI大模型可谓大放异彩！网上也议论纷纷，说以后AI要淘汰这个职业，那个职业的，搞得人心惶惶的。实际上，AI大模型还是有一些局限性的，难以处理过于复杂的任务。
利用ollama + RAGFlow部署千问大模型构建个人知识库AI智能体应用
qkh1234567的博客
12-16 1476
将开源的大语言预训练模型部署到用户设备上进行推理应用，特别是结合用户专业领域知识库构建AI应用，让AI在回答时更具有专业性，目前已经有很多成熟的应用方案。其中，支持大模型本地化部署的平台及工具很多，比较出名的有ollama、vLLM、LangChain、Ray Serve等，大大简化了模型的部署工作，并提供模型全生命周期管理。
通义千问Qwen2.5-Omni-7B多模态部署与全方位体验
AngelCryToo的专栏
04-16 1359
这次决定购买安小时付费的服务器，不用的时候释放资源；包月包年利用率低，属实浪费。算力云可用的资源越来越少了，看文章RTX4090可以用，买个RTX4090吧。：可（FP16约14GB显存），支持多模态输入（如图文问答）。：需（显存需求降至~36GB）或（性能下降显著）。由于RTX4090卖完了，所以我买了。
Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人
老牛啊
06-12 1万+
阿里云正式开源通义千问Qwen2系列模型，其中Qwen2-72B成为全球性能最强的开源模型，在全球权威测评中，性能超过美国最强开源模型Llama3-70B，也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。今天老牛同学部署和体验Qwen2-7B中等尺寸模型，包括本地部署、API嗲用和WebUI对话客户端……
【VLLM】open-webui部署模型全流程
qq_62223405的博客
07-26 2263
主要讲述的是VLLM的部署在open-webui上部署模型的全流程
【多模态大模型实战】 搭建通义千问Qwen 2.5-VL-7B-Instruct多模态模型，以及推理微调
m0_47867638的博客
02-09 2246
ms-swift是魔搭社区提供的大模型与多模态大模型训练部署框架，现已支持450+大模型与150+多模态大模型的训练（预训练、微调、人类对齐）、推理、评测、量化与部署。模型开发者可以在ms-swift框架中一站式完成围绕大模型的各类需求。目前ms-swift的主要能力包含：🍎 模型类型：支持450+纯文本大模型、150+多模态大模型，All-to-All全模态模型的训练到部署全流程。数据集类型：内置150+预训练、微调、人类对齐、多模态等各种类型的数据集，并支持自定义数据集。
使用ollama本地化部署通义千问7b
2301_81049554的博客
10-20 1894
本文介绍了Ollama，一个开源的大型语言模型（LLM）服务工具，旨在简化本地运行大语言模型的过程。通过使用Ollama，开发者、研究人员及爱好者能够更容易地在本地环境中实验、管理和部署最新的大语言模型。该工具支持多种模型，并且用户可以创建并打包自己的模型，只要这些模型采用GGUF格式。 关于Ollama的安装过程，文中指出可以通过访问其官方网站下载适用于不同操作系统的安装包。完成安装后，用户可以在命令行窗口通过输入特定命令来验证安装是否成功。
使用Ollama+OpenWebUI本地部署阿里通义千问Qwen2 AI大模型
博客之路,前途漫漫
06-18 1万+
Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。qwen-2（Qwen-2，量子阱增强神经网络版本2）是阿里巴巴集团开发的先进人工智能语言模型。基于 Qwen-1 的成功和经验教训，Qwen-2 引入了多项关键增强功能和功能，旨在提高其性能、多功能性和跨各个领域的适用性。
【大模型部署】本地部署AI大模型三步走（Ollama+通义千问）
2301_81888214的博客
03-13 2455
先给大家介绍一下今天的主角Ollama：Ollama是一个强大的工具，它能在本地轻松部署和运行大型语言模型，如Gemma, 助你轻松跨过这道门槛。
Ollama本地私有化部署通义千问大模型Qwen2.5
L
09-26 5752
Qwen是阿里巴巴集团Qwen团队的大型语言模型和大型多模态模型系列。现在大型语言模型已经升级到Qwen2.5。语言模型和多模态模型都是在大规模多语言和多模态数据上进行预训练的，并在符合人类偏好的高质量数据上进行后训练。Qwen具有自然语言理解、文本生成、视觉理解、音频理解、工具使用、角色扮演、人工智能代理等功能。在Qwen2发布的过去三个月里，许多开发人员在Qwen2语言模型上构建了新的模型，向我们提供了宝贵的反馈。在此期间，我们专注于创建更智能、知识更丰富的语言模型。
ollama+open-webui，本地部署自己的大模型
热门推荐
spiderwower的博客
05-05 7万+
Open WebUI 是一种可扩展、功能丰富且用户友好的自托管 WebUI，旨在完全离线运行。它支持各种LLM运行器，包括 Ollama 和 OpenAI 兼容的 API。open-webui项目地址。
【AI】Ollama+OpenWebUI+llama3本地部署保姆级教程，没有连接互联网一样可以使用AI大模型！！！
weixin_45131680的博客
05-07 8332
在没有互联网的环境下部署，可以将下载好的Ollama安装包复制到此环境安装，然后将下载好的模型复制到相应路径就可以在无互联网的环境下使用。默认安装后的目录：C:\Users\username\AppData\Local\Programs\Ollama。8B模型一般16GB内存就可以跑的很流畅，70B模型则至少需要64GB内存，有CPU就可以跑，当然有GPU更好。由于llama3对中文的支持并不是很好，需要中文的可以使用GitHub上开源的这个llama3中文微调模型。提问题，发现该模型给了很好的回复。
Open webui如果调用千问？
07-19
<think>首先，用户的问题是如何在Open WebUI中集成并调用通义千问模型。我需要基于提供的引用内容来回答。 回顾引用内容： - 引用[1]：介绍了Open WebUI的关键特性、安装方法等。 - 引用[2]：关于使用pip安装open-webui和运行ollama+open-webui。 - 引用[3]：Open-WebUI的安装步骤，包括Git克隆、npm安装、pip安装依赖等。 - 引用[4]：具体提到如何利用ollama和open-webui本地部署通义千问Qwen1.5-7B-Chat模型，包括Docker pull命令。 用户的需求是集成并调用通义千问模型。引用[4]直接提到了部署通义千问模型，所以我应该重点参考这个。 关键点： - 引用[4]说：利用ollama和open-webui本地部署通义千问Qwen1.5-7B-Chat模型。并提供了Docker pull命令：`docker pull ghcr.io/open-webui/open-webui:main`。 - 这暗示了Open WebUI支持通过ollama来管理模型，包括通义千问。 ollama是一个工具，用于在本地运行和管理大型语言模型（LLMs）。Open WebUI是一个前端界面，可以与ollama集成，从而调用各种模型。 所以，步骤应该是： 1. 安装ollama并下载通义千问模型。 2. 安装Open WebUI。 3. 配置Open WebUI连接到ollama，从而访问通义千问模型。 从引用中提取安装方法： - 安装Open WebUI： - 引用[2]：通过pip安装：`pip install open-webui`。 - 引用[3]：通过Git克隆和npm构建。 - 引用[4]：通过Docker：`docker pull ghcr.io/open-webui/open-webui:main`。 - 对于通义千问，引用[4]提到使用ollama部署模型。 ollama的安装： - ollama官方文档或引用中没有直接提到，但通常需要下载ollama二进制文件或使用Docker。 综合步骤： 1. 安装ollama： - 下载ollama（例如，从ollama.ai）。 - 运行ollama服务。 - 下载通义千问模型：例如，`ollama pull qwen:7b`（假设模型名是qwen）。 2. 安装Open WebUI： - 使用Docker：`docker pull ghcr.io/open-webui/open-webui:main`，然后运行容器。 - 或者使用pip：`pip install open-webui`，然后运行。 - 确保Open WebUI配置连接到ollama（通常默认localhost:11434）。 3. 在Open WebUI中选择模型： - 一旦ollama运行并有模型，Open WebUI应该能检测到并列出模型。 引用[4]具体说：利用ollama和open-webui本地部署通义千问Qwen1.5-7B-Chat模型。并提供了Docker pull命令。 所以，在回答中，我应该： - 解释整体过程。 - 提供详细步骤。 - 使用中文。 - 结构清晰。 - 添加引用标识。 回答结构： 1. 介绍：简要说明如何在Open WebUI中调用通义千问模型。 2. 前提条件：确保系统满足要求（如Docker或Python环境）。 3. 步骤： a. 安装ollama并下载通义千问模型。 b. 安装Open WebUI（使用Docker或pip）。 c. 配置和运行。 4. 验证：如何访问Open WebUI并选择模型。 5. 生成相关问题。 引用添加： - 在相关部分末尾添加引用标识，例如：[^4]。 系统指令： - 行内数学表达式用$...$，但这里可能不需要数学。 - 独立公式用$$...$$，但可能不需要。 - LaTeX语法正确。 - 中文回答。 - 生成相关问题。 相关问题： - 基于内容，如： 1. 如何优化通义千问模型在Open WebUI中的性能？ 2. Open WebUI支持哪些其他模型？ 3. 如何自定义Open WebUI的界面？ 确保回答真实可靠：基于引用内容，不添加虚假信息。 最终回答大纲： - 开头：直接回答用户问题。 - 步骤： - 安装ollama：从ollama.ai下载，运行，拉取模型。 - 安装Open WebUI：使用Docker或pip。 - 运行和配置。 - 结尾：验证方法。 - 相关问题。</think>### 如何在Open WebUI中集成并调用通义千问模型 要在Open WebUI中集成并调用通义千问模型（如Qwen1.5-7B-Chat），需要结合ollama（一个本地模型管理工具）和Open WebUI（一个前端界面）。以下是详细步骤，基于Open WebUI的官方文档和社区实践[^4]。整个过程分为三个主要阶段：安装ollama并下载模型、安装Open WebUI、配置和调用模型。假设您已安装Docker或Python环境（推荐使用Linux或Windows系统）。 #### 1. **安装ollama并下载通义千问模型** ollama用于在本地运行和管理大型语言模型。通义千问模型需通过ollama拉取。 - **步骤**: 1. 下载并安装ollama： - 访问[ollama官网](https://ollama.com/)下载对应系统的二进制文件（Windows/Linux/macOS）。 - 运行安装程序，并启动ollama服务（安装后自动运行）。 2. 拉取通义千问模型： - 打开终端或命令行，执行命令拉取模型。例如，对于Qwen1.5-7B-Chat模型： ```bash ollama pull qwen:7b-chat # 模型名称可能因版本更新而变化，请参考通义千问官方仓库 ``` - 等待下载完成（模型大小约4-5GB，耗时取决于网络）。 3. 验证ollama运行： - 执行 `ollama list` 检查模型是否列出。 - ollama默认在 `localhost:11434` 提供服务。 这一步确保模型在本地可用，为Open WebUI提供基础支持[^4]。 #### 2. **安装Open WebUI** Open WebUI可以通过Docker或pip安装。推荐使用Docker方式，更简单且隔离环境。 - **选项1: 使用Docker安装（推荐）** - **步骤**: 1. 拉取Open WebUI的Docker镜像： ```bash docker pull ghcr.io/open-webui/open-webui:main # 从GitHub Container Registry获取镜像[^4] ``` 2. 运行容器： ```bash docker run -d --name open-webui -p 3000:8080 -e OLLAMA_API_BASE_URL=http://host.docker.internal:11434/api -v open-webui:/app/backend/data --add-host=host.docker.internal:host-gateway ghcr.io/open-webui/open-webui:main ``` - 参数说明： - `-p 3000:8080`: 将容器端口8080映射到主机端口3000（访问地址为 `http://localhost:3000`）。 - `-e OLLAMA_API_BASE_URL=...`: 设置ollama的API地址，确保Open WebUI能连接到本地ollama服务。 - `-v open-webui:/app/backend/data`: 挂载数据卷，持久化配置。 - `--add-host=host.docker.internal:host-gateway`: 解决Docker容器内访问主机服务的网络问题（Windows/macOS需要此参数；Linux可省略）。 3. 验证容器运行：执行 `docker ps` 检查状态。 - **选项2: 使用pip安装（适合Python环境）** - **步骤**: 1. 安装依赖（确保Python 3.10+）： ```bash pip install open-webui # 可使用国内镜像加速，如 `pip install -i https://pypi.tuna.tsinghua.edu.cn/simple open-webui`[^2] ``` 2. 配置环境变量（指定ollama地址）： ```bash export OLLAMA_API_BASE_URL=http://localhost:11434/api # Linux/macOS # 或Windows: set OLLAMA_API_BASE_URL=http://localhost:11434/api ``` 3. 运行Open WebUI： ```bash open-webui run # 服务默认启动在 http://localhost:8080 ``` 两种方法都能安装Open WebUI，Docker方式更易管理依赖[^1][^2]。 #### 3. **配置和调用通义千问模型** 安装后，通过Web界面连接ollama并选择模型。 - **步骤**: 1. 访问Open WebUI界面： - 打开浏览器，输入 `http://localhost:3000`（Docker安装）或 `http://localhost:8080`（pip安装）。 - 首次访问需创建管理员账户（按提示填写邮箱和密码）。 2. 连接到ollama： - 登录后，进入"Settings" > "Model" 选项卡。 - 在"Ollama Base URL"字段确认地址为 `http://localhost:11434/api`（如安装时已设置，此处自动填充）。 - 点击"Save"保存。 3. 选择并调用通义千问模型： - 返回聊天界面，在模型下拉菜单中，选择已下载的 `qwen:7b-chat`（或其他版本）。 - 输入问题（如“解释机器学习原理”），Open WebUI会将请求转发给ollama，并显示通义千问的响应。 4. 验证调用： - 如果模型列表为空，检查ollama服务是否运行（`ollama serve`）和网络连接。 - 在ollama日志中查看调用详情（默认路径 `~/.ollama/logs/server.log`）。 #### 注意事项 - **性能要求**：通义千问7B模型需至少8GB RAM和20GB磁盘空间，推荐GPU加速（ollama支持CUDA）。 - **常见问题**： - 连接错误：确保 `OLLAMA_API_BASE_URL` 正确，且防火墙允许端口11434和3000/8080[^1][^4]。 - 模型下载失败：使用 `ollama pull qwen:7b-chat --verbose` 查看详细日志。 - **更新**：定期运行 `docker pull ghcr.io/open-webui/open-webui:main` 或 `pip install --upgrade open-webui` 获取最新版本[^4]。 通过以上步骤，您可以在Open WebUI中无缝调用通义千问模型，实现本地化AI对话[^4]。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cumtchw

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值