如何使用Ollama在本地部署大模型

最新推荐文章于 2025-04-07 09:15:00 发布
最新推荐文章于 2025-04-07 09:15:00 发布
阅读量3.6k 收藏 18
点赞数 33
文章标签： ai
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FutureAILab/article/details/140903638
版权

本文主要介绍以下3方面内容 

  • 在Windows电脑上使用Ollama部署大模型 

  • 使用API与Ollama运行的模型交互 

  • 使用可视化界面(Open WebUI)与Ollama运行的模型交互实现类似ChatGPT效果

一 Ollama与模型安装 

1 Ollama安装

Ollama 是一个开源的大型语言模型服务工具，它允许用户在自己的硬件环境中轻松部署和使用大规模预训练模型。

下载地址：https://ollama.com/download

下载后是一个OllamaSetup.exe可执行文件，一路Next直接安装即可。

Tips：如无法下载，后台回复【学习群】，入群获取安装包。

2 环境变量设置

Ollama安装在C盘，后续下载的模型文件默认也是在C盘，可以通过设置环境变量更改模型文件的存储位置，环境变量名：OLLAMA_MODELS

最低0.47元/天 解锁文章
Windows环境下Ollama的本地部署方案
herosunly的博客
12-09 8万+
本文主要介绍了Windows环境下Ollama的本地部署方案，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. Windows环境安装 3. API调用示例代码
ollama 本地部署大模型
热门推荐
03-17 5万+
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过API"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
ollama部署本地大模型，Linux以及python调用
forevercui的博客
12-21 1158
调用apikey和本地部署的区别仅在api_key、base_url、model三个参数有区别。
【Ollama】AI大模型本地部署
掘金者说
03-27 3336
Ollama轻量级、可扩展的框架，用于在本地机器上构建和运行大型语言模型（LLM）。提供了一个简单的API来创建、运行和管理模型，以及一个预构建模型库，可以轻松用于各种应用程序。明显优势：易于使用、轻量级、可扩展、预构建模块库。应用场景：文本生成、翻译、问答、代码生成。人群价值：研究人员、开发人员、爱好者。项目优点：易用性、性能、功能、社区。
ollama API 本地调用
hbkybkzw的博客
03-14 630
前提条件，ollama 已经启动了模型，查看 ollama 中的 model 名称。使用 openai 调用。
【大模型】Spring-AI 接入本地大模型 OLLAMA
weixin_33347188的博客
09-04 377
Spring-AI OLLAMA
如何用Ollama直接加载官网没有的本地大模型
2301_76362892的博客
05-22 9815
大家在用ollama加载大模型时，第一步都是要到国外网站去下载模型，即需要科学 上网，又需要大带宽，且对于一些OLLAMA官网没有的大模型还不能直接使用，本文重点解决那种本地已经下载好的（含官网没有的）大模型如何直接被ollama加载使用问题。
本地部署大模型？Ollama 部署和实战，看这篇就够了
u010522887的专栏
07-24 3万+
Ollama 也许是当前最便捷的大模型部署工具，配合Open WebUI，人人都可以拥有大模型自由。
Ollama实现开源大模型本地化安装部署
wangjye99的博客
04-13 3683
本文讲述如何使用ollama实现开源大模型本地化部署，包括ollama和open-webui的安装、大模型的选择和安装、模型测试，以及优化方法。本地化部署允许用户自定义模型，并通过人工标注数据进行微调和强化学习，以提升模型表现。
Ollama本地化部署
风迦叶的部落格
02-19 2613
本地化部署ollama，加载特定模型。
本地快速部署Ollama运行大语言模型详细流程，看这篇就够了
lyy2017175913的博客
12-10 4255
本文主要介绍如何在 Windows 系统快速部署 Ollama 开源大语言模型运行工具，并安装 Open WebUI 结合 cpolar 内网穿透软件，实现在公网环境也能访问你在本地内网搭建的 llama2、千文 qwen 等大语言模型运行环境。
简易教程|使用Ollama在本地部署大语言模型（Ollama+Deepseek_R1+OpenWebUI）
m0_61171702的博客
01-26 4万+
用简洁的方式部署AI大模型，从安装ollama到拉取AI大模型文件，到使用OpenWebUI的使用，没有多余描述。
使用ollama在本地部署一个deepseek大模型
从入门到放弃
02-02 4361
DeepSeek最近很火，但是使用的时候因为种种原因，经常无响应，要不排队，要不无法联网搜索，研究了一下，发现自己的破显卡还能试着本地部署运行一下，索性部署记录了一下这个过程分享出来。
五分钟使用ollama部署本地大模型
最新发布
zwl2220943286的博客
04-07 840
五分钟使用ollama安装部署本地大模型
Ollama如何加载本地模型
m0_60594197的博客
02-14 1957
1.、新建Modelfile文件（无后缀）编辑Modelfile文件，
本地部署大模型？看这篇就够了，Ollama 部署和实战
2401_85373898的博客
11-13 2126
如果要使用的模型不在 Ollama 模型库怎么办？至此，我们一起走完了 Ollama 的部署和实战流程。在我看来，Ollama 也许是目前最便捷的大模型部署和使用工具，对小白非常友好。简单的命令行操作，用户即可快速启动和管理模型，极大降低了技术门槛，用户可以专注于模型的应用，而无需关注底层技术细节。此外，Ollama 的离线运行也为数据安全提供了保障。期待大家在使用 Ollama 的过程中，发现更多有趣的 AI 应用场景。让我们一起推动大模型技术的应用落地，探索更广阔的可能性！
使用Ollama本地部署 Llama3大模型！最简单的方法，无需GPU也能使用
撸啊撸的博客
05-12 5149
开源大模型领域当前最强的无疑是 LLaMA 3！Meta 这次不仅免费公布了两个性能强悍的大模型（8B 和 70B），还计划发布一个可以与 GPT-4 对打的 400B 模型。今天，我们将介绍一种简单易懂的本地部署方法，非常适合新手！如果想深度使用Llama3，还是准备一个好的GPU环境来测试，CPU环境下还是很吃力。
Ollama本地部署大模型（Mac M1 ）
ddu-to-end的博客
12-31 7131
通过Ollama部署本地大模型
【AI基础】大模型部署工具之ollama的安装部署以及api调用
旭日跑马踏云飞的专栏
06-17 4万+
ollama是大模型部署方案，对应docker，本质也是基于docker的容器化技术。ollama提供了openAI兼容的api，可以最大限度的减少理解和开发成本。
ollama api_base
02-12
### Ollama API 基础信息 Ollama 提供了用于模型推理的特定API接口，主要通过 `/api/generate` 和 `/api/chat` 来实现[^1]。这意味着开发者可以通过这两个端点来调用预训练的语言模型服务，从而执行诸如文本生成、对话处理等任务。 对于本地部署的情况，默认情况下 Ollama 可能在 `http://localhost:11434/` 上运行，并开放相应的API端点给客户端应用访问[^3]。如果未正确配置这些API路径，则可能导致应用程序无法正常工作或与其他服务发生冲突。 为了更好地管理和加载文档数据，可以考虑使用像 LangChain 的 DocStore 这样的工具，它提供了存储和读取文档的功能[^2]。不过需要注意的是，这属于额外的数据管理组件而非直接与 Ollama API 关联的部分。 #### 使用 Python 调用 Ollama API 示例 下面是一个简单的Python脚本例子，展示了如何利用 requests 库向 Ollama 发送请求并获取响应： ```python import requests url_generate = "http://localhost:11434/api/generate" payload = {"prompt": "Once upon a time"} response = requests.post(url_generate, json=payload) print(response.json()) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值