我的Ollama+openWebUI部署笔记

已于 2024-05-30 17:38:25 修改
阅读量2.3k 收藏 3
点赞数 9
CC 4.0 BY-SA版权
分类专栏： LLM/python/Docker 文章标签： llama
于 2024-05-30 15:45:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ruoxuer/article/details/139325165

前提是电脑已经安装过python、cuda12.1之类的。

1、下载安装包
下载地址：https://ollama.com/download

大约200多MB，下载后直接安装。

2、安装
双击安装包直接安装就好，安装好后会自动运行，如下界面：

3、添加环境变量，模型路径，如下所示。
（F:\LLM\ollama_models文件夹就是你将来存放模型的地方。）

4、下载聊天大模型
下载地址：点击ollama官网右上角的"model",进入以下界面，
或直接打开网址：
https://ollama.com/library
里面有很多ollama支持的模型。

我选择的是yi-9b.

在cmd窗口输入：ollama run yi:9b

最低0.47元/天 解锁文章

200万优质内容无限畅学
Ollama + WebUI本地化部署大模型
机器人涮火锅的博客
08-09 1万+
文章的主要目的是提供一个详细的指南，说明如何在Windows操作系统上安装和配置Ollama工具，以便用户能够在本地环境中轻松地部署和使用大型语言模型。帮助读者了解Ollama的基本功能，并提供实用的操作步骤，使他们能够有效地使用Ollama工具在本地运行和测试大型语言模型
Ollama + Openwebui 本地部署大型模型与交互式可视化聊天
2401_84494441的博客
07-12 7405
OpenWebUI]是一个可扩展、功能丰富且用户友好的自托管WebUI，它支持完全离线操作，并兼容Ollama和OpenAI的API。这为用户提供了一个可视化的界面，使得与大型语言模型的交互更加直观和便捷。
使用 Ollama 和 Open WebUI 自托管 LLM 聊天机器人（无需 GPU）
lythinking的博客
06-08 3754
等，进一步支撑你的行动，以提升本文的帮助力。
【大模型应用开发】解决 Ollama 下载镜像过慢的问题，不需要代理
weixin_45266856的博客
06-12 551
针对Ollama下载模型速度慢的问题，本文提出了一种简便的加速方法。通过编写PowerShell脚本自动中断并重启下载进程，实现下载速度的提升。脚本会每分钟自动终止并重启下载任务，直到模型下载完成。相比使用下载加速器，该方法操作更简单，仅需运行脚本即可显著提高下载速度，这种方法为模型下载提供了一种高效的解决方案。
ollama+open-webui，本地部署自己的大模型
热门推荐
spiderwower的博客
05-05 7万+
Open WebUI 是一种可扩展、功能丰富且用户友好的自托管 WebUI，旨在完全离线运行。它支持各种LLM运行器，包括 Ollama 和 OpenAI 兼容的 API。open-webui项目地址。
【Win平台实战】Ollama与Open-WebUI安装及应用全解析
m0_65555479的博客
01-02 2257
Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。servestart此外，Ollama还提供了丰富的API接口、社区和文档支持，使其成为一个适合开发者和个人用户在本地运行和管理大型语言模型的强大工具。需要注意的是，使用大型语言模型和Ollama框架时，可能会涉及到计算资源的消耗、模型训练的复杂性以及数据安全等问题。因此，在使用前，建议用户充分了解相关知识，并根据自己的需求和条件做出合理的决策。特点。
Ollama + WebUI 搭建本地大模型
weixin_41191172的博客
07-22 524
随着这一两年大模型的爆火，越来越多的开发者希望能够在本地环境中运行大模型，既可以提高数据安全性，又能更好地进行个性化开发。Ollama 作为目前最主流的大模型管理工具，已经是玩转大模型必不可获取的一步。无论你是刚刚接触大模型的新手，还是已经有一定经验的老手，这篇文章都将带你一步一步地了解如何轻松地在本地部署大模型。olla...
【笔记】linux离线部署Ollama+Deepseek r1+open webui
MrIqzd的博客
01-29 1万+
昨天看到了实验室服务器文件夹下面有一个deepseek的gguf文件，就顺便部署一下至于为什么要本地呢？可能有一些学术隐私的东西不方便被收集吧。（我应该没有关系，反正都是学术垃圾）实验室服务器是ubuntu 18（没人管理升级），不能上外网。看了一眼lm studio的linux，要求ubuntu20https://lmstudio.ai/docs/system-requirements，所以选择了ollama。在这里选择ollama+open webui进行部署。
【大模型】Ollama+open-webuiAnything LLM部署本地大模型构建RAG个人知识库教程（Mac）
m0_74823471的博客
12-11 4918
如果需要，可以使用AnythingLLM的开发者API进行自定义集成，以满足特定的业务需求。
【AI大模型】Ollama+open-webuiAnything LLM部署本地大模型构建RAG个人知识库教程
neeef_se的博客
12-25 1458
如果需要，可以使用AnythingLLM的开发者API进行自定义集成，以满足特定的业务需求。
保姆级教程 本地部署 deepseek + ollama + open-webui + cuda + cudnn
我hate吃西红柿
02-11 1786
本地部署deepseek-r1，基于ollama + webui，并开启cuda + cudnn 加速运算，我电脑显卡是3060 12G，没显卡的可以跳过cuda + cudnn的安装。
Ollama安装WebUi页面集成
qq_33560212的博客
07-12 2402
Open WebUI是一个可扩张的，功能丰富且用户友好的自托管WebUI，旨在完全离线操作。它支持各种LLM运行器，包括Ollama和OpenAI兼容的API。
在Windows上轻松部署本地大语言模型：Ollama与Open-WebUI的完整指南
小白一枚～
11-03 1万+
本教程告诉读者如何使用Ollama和Open-WebUI在本地部署大型语言模型，以Qwen2.5为例，超级详细完整，从下载Ollama到下载Doctor Desktop（包含汉化）以及下载模型（包含更改模型保存路径）与模型本地部署。
WebUI 部署 Ollama 可视化对话界面
AllYoung_362的博客
02-25 3022
下载链接为：https://cdn.npmmirror.com/binaries/node/v18.19.0/node-v18.19.0-linux-x64.tar.xz。参考链接：https://github.com/n4ze3m/page-assist/issues/309。官网链接为： https://www.nodejs.com.cn/download.html。克隆 ollama-webui 仓库，切换 ollama-webui 代码的目录。出现报错时，说明网络状态不佳，重试一次即可。
linux系统部署ollama、open-webui
super_mochi1
09-05 1万+
linux安装ollama、open-webui
人工智能 - Open WebUI + DeepSeek 搭建本地知识库实战指南
03-07 1680
的组合，可在2小时内搭建一套低成本、高隐私的本地知识库系统。docker-compose up -d # 需提前安装Docker。# 安装Ollama（Windows/macOS/Linux）注：DeepSeek 1.5B模型需至少8GB内存。# 拉取DeepSeek 1.5B模型。进入管理界面，首次需设置管理员账户。16GB + GPU（4GB显存）10GB（模型+知识库）50GB+（大规模数据）与知乎的自动化部署脚本。，若输出模型信息则成功。# 克隆仓库并启动服务。
服务器Ubuntu22.04系统下 ollama的详细部署安装和搭配open_webui使用
weixin_63782093的博客
07-19 1万+
服务器Ubuntu22.04系统下 ollama的详细部署安装和搭配open_webui使用
OpenWebUI 整合 Ollama + DeepSeek 本地部署使用指南
一等一焱的博客
03-02 3072
OpenWebUI 是一款专为本地大语言模型（LLMs）设计的开源、可扩展且功能丰富的自托管 Web 用户界面，支持完全离线运行，适用于需要数据隐私和安全保障的场景。其核心目标是为开发者及企业提供便捷的模型调试、交互与管理工具，同时兼容多种模型运行框架（如 Ollama、OpenAI 兼容 API 等），降低大模型应用的技术门槛。
大语言模型 、利用本地或者在线大语言模型,在本地部署DeepSeek！使用Ollama+chatbox ai或Ollama+cherry studio 能生成结果给我吗？国 实现自定 v义功能, 功能不限。
最新发布
07-18
<think>我们正在讨论的是如何在本地部署大语言模型（如DeepSeek）并实现自定义功能，使用Ollama作为基础框架，并结合Chatbox AI或Cherry Studio作为前端交互工具。 根据引用[^1]的信息，我们知道可以通过Cherry Studio来连接本地的Ollama服务（地址为http://localhost:11434/v1/），然后添加模型。 但是，用户的问题还涉及如何实现自定义功能，这通常包括模型微调、添加私有知识库、扩展功能等。 步骤分解： 1. 安装Ollama并部署DeepSeek模型（或其他模型）到本地。 2. 配置前端工具（Chatbox AI或Cherry Studio）连接Ollama服务。 3. 实现自定义功能，可能包括： - 私有知识库的接入（如通过Cherry Studio的私有知识库功能） - 自定义提示词工程 - 模型微调（可能需要额外的步骤） 由于引用中只提到了Cherry Studio的设置，而用户还提到了Chatbox AI，因此需要分别说明。 具体步骤： 第一步：安装Ollama并下载DeepSeek模型 - 前往Ollama官网（https://ollama.com/）下载并安装Ollama。 - 安装完成后，打开终端（或命令提示符），运行命令下载DeepSeek模型（目前Ollama支持的DeepSeek模型有deepseek-coder等）： ollama run deepseek-coder:6.7b 注意：模型名称和版本需要根据实际情况调整，可以到Ollama的模型库（https://ollama.com/library）查找。 第二步：配置前端工具连接Ollama - 对于Cherry Studio： 1. 打开Cherry Studio，进入设置。 2. 在Ollama设置项中输入Ollama的API地址：http://localhost:11434/v1/ 3. 添加后，即可在模型列表中选择本地运行的DeepSeek模型。 - 对于Chatbox AI： 1. 下载并安装Chatbox AI（https://chatboxai.app/）。 2. 打开Chatbox，在设置中找到模型设置，选择“自定义OpenAI API”。 3. 在API地址中填入：http://localhost:11434/v1/ 4. 在模型名称中填入你在Ollama中运行的模型名称（如deepseek-coder:6.7b）。 5. 保存设置，即可使用。 第三步：实现自定义功能 - 私有知识库：Cherry Studio内置了私有知识库功能。你可以在Cherry Studio中上传文档（如PDF、Word等），然后它会在与模型交互时利用这些文档作为上下文。具体操作是在Cherry Studio中创建知识库并上传文件。 - 自定义提示词：在Chatbox或Cherry Studio中，你可以设置系统提示词（system prompt）来指导模型的行为，例如：“你是一个专业的编程助手，请用Python回答问题”。 - 模型微调：如果需要对模型进行微调，Ollama目前支持通过Modelfile来创建自定义模型。你可以基于已有的模型，通过额外的训练数据来微调。具体步骤： 1. 准备训练数据（格式为文本文件）。 2. 创建一个Modelfile，例如： FROM deepseek-coder:6.7b SYSTEM "你是一个专门回答数学问题的助手" # 可以添加更多的参数设置，或者使用微调数据 # 微调数据可以通过TRAIN指令指定，但注意Ollama的微调功能还在发展中，可能需要参考官方文档。 3. 构建并运行自定义模型： ollama create my-model -f ./Modelfile ollama run my-model 注意：模型微调需要较大的计算资源，并且需要准备高质量的数据集。 另外，如果要实现更复杂的自定义功能，可能需要编写中间件（如使用Ollama的API）来扩展功能，例如： - 使用Ollama的API（http://localhost:11434/api/generate）进行模型调用，然后结合其他工具（如LangChain）来构建私有知识库的检索增强生成（RAG）系统。 引用[^1]中提到了Cherry Studio的设置，但未涉及其他细节。因此，我们主要依据Ollama和前端工具的常规设置方法进行说明。 总结：通过Ollama部署本地模型，然后通过前端工具连接，再结合私有知识库和提示词工程，可以实现基本的自定义功能。对于更高级的自定义，可能需要开发额外的中间件或使用LangChain等框架。 下面，我们生成相关问题。</think>### 在本地部署DeepSeek大模型并实现自定义功能 以下是利用Ollama结合Chatbox AI/Cherry Studio部署DeepSeek大语言模型的完整流程： --- #### **第一步：安装Ollama并部署DeepSeek模型** 1. **安装Ollama** - 访问[Ollama官网](https://ollama.com/)下载对应操作系统的安装包 - 终端验证安装：`ollama --version` 2. **下载DeepSeek模型** ```bash # 选择需要的模型版本（以7B参数版为例） ollama pull deepseek-coder:6.7b ``` 3. **启动模型服务** ```bash ollama run deepseek-coder:6.7b ``` 服务默认运行在 `http://localhost:11434` --- #### **第二步：配置前端工具** ##### **选项1：Cherry Studio（推荐私有知识库）** 1. 打开Cherry Studio，进入设置 > Ollama配置 2. 添加本地API地址：`http://localhost:11434/v1/` [操作示意图参考^1] 3. 启用"私有知识库"功能： - 上传PDF/Word/TXT等文档 - 设置知识库检索参数（如相似度阈值） 4. 创建自定义工作流： ```python # 示例：文档摘要工作流 def document_summary(file): context = load_knowledge_base(file) # 从私有知识库加载 prompt = f"基于以下上下文生成摘要：{context}" return ollama.generate(prompt) ``` ##### **选项2：Chatbox AI（轻量级方案）** 1. 安装[Chatbox](https://chatboxai.app/) 2. 配置自定义API： ```json { "API_URL": "http://localhost:11434/v1/chat/completions", "Model": "deepseek-coder:6.7b" } ``` 3. 在"系统提示词"区域添加自定义指令： ``` 你是一个编程助手，需遵循规则： 1. 所有代码用```标记 2. 优先使用Python解答 ``` --- #### **第三步：实现自定义功能** 1. **私有知识库增强** - 在Cherry Studio上传公司文档/个人笔记 - 修改`~/.ollama/config.json`添加知识库路径： ```json "knowledge_base": ["/path/to/your/docs"] ``` 2. **API集成开发** 使用Ollama的HTTP API构建自定义应用： ```python import requests def ask_ollama(question): response = requests.post( "http://localhost:11434/api/generate", json={ "model": "deepseek-coder:6.7b", "prompt": question, "stream": False } ) return response.json()["response"] # 调用示例 print(ask_ollama("用Python实现快速排序")) ``` 3. **模型微调（高级）** ```bash # 1. 准备训练数据（train.jsonl） {"text": "<指令>解释量子计算</指令><回答>..."} # 2. 创建Modelfile FROM deepseek-coder:6.7b TRAIN ./train.jsonl # 3. 微调模型 ollama create my-custom-model -f Modelfile ``` --- #### **常见问题解决** - **端口冲突**：修改Ollama端口 `ollama serve --port 11435` - **显存不足**：添加量化参数 `ollama run deepseek-coder:6.7b --num_gpu 0` - **知识库未生效**：检查Cherry Studio的文档索引状态，重建索引 > 部署效果验证：向模型提问私有知识库特有内容，观察是否返回基于定制知识的回答[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值